模块5 大数据技术及其应用 课件(共36张PPT) -2024--2025学年中职《信息技术（拓展模块）》（电子工业出版社）

(课件网) 信息技术（拓展模块） 模块5 大数据技术及其应用 【问题探析】 【问题5-1】 如何正确理解大数据和大数据技术的 基本概念？ 从一般意义上讲，大数据是指无法在一定时间范围内用常规软件工具进行获取、存储、管理和处理的数据集合，需要具有新型处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据由巨型数据集组成，这些数据集的大小常超出人类在可接受时间内的收集、使用、管理和处理能力。 适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 【问题探析】 【问题5-2】 大数据的核心特征有哪些？ 目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备Volume（规模性）、Velocity（高速性）、Variety（多样性）和Value（低价值密度）4个特征，简称“4V”特征，即数据规模大、数据处理速度快、数据类型繁多和数据价值密度低，如图5-1所示。 【问题探析】 【问题探析】 【问题5-3】 大数据的结构类型有哪几种？ 大数据的结构类型多种多样，主要可以归纳为结构化数据、半结构化数据、准结构化数据和非结构化数据4种。 【问题探析】 【问题5-4】 如何进行大数据采集？ 大数据采集是指从各种不同的数据源中获取数据并进行数据存储与管理，为后面的数据分析与建模做好准备。 1．大数据的来源 大数据的来源可以概括为下几个方面。 （1）Web端，包括基于浏览器的网络爬虫或者API。 （2）App端，包括无线客户端采集SDK或者埋点。 （3）传感器，如将物联网测量值转化成数字信号。 （4）数据库，涉及源业务系统和数据同步，包括结构化数据与非结构化数据。 （5）第三方数据，一般是由合作方提供的，如政府公布的数据。 【问题探析】 2．大数据采集的方法 针对不同的数据，大数据采集的方法也有所不同。 1）采集内容数据 采集这类数据可以使用Hadoop、Spark、Cloudera等专门的海量数据采集工具，这些工具采用分布式架构，能满足每秒数百兆字节的数据采集和传输需求。 【问题探析】 2）采集网络数据 采集这类数据可以通过网络爬虫或网站公开的应用程序接口等方式从网站获取数据信息。这些采集方式可以将非结构化数据从网页中提取出来，并以结构化的方式将其存储为统一的本地数据文件，无论是对数字、文本，还是对图片、音频、视频等文件，都可以实现采集操作。 3）采集其他企业或组织机构的内部数据 对于某些企业的生产经营数据或研究机构的学科研究数据等保密性要求较高的数据，可以通过与该企业或研究机构开展合作，使用特定系统接口等相关方式进行采集。 【问题探析】 【问题5-5】 如何进行大数据预处理？ 大数据预处理主要分为4个步骤：数据清洗、数据集成、数据规约和数据变换，如图5-3所示。每个步骤都需要分别完成各自的工作。 【问题探析】 【问题5-6】 如何实现大数据存储与管理？ 1．新型数据库的常见类型 1）NoSQL数据库 NoSQL数据库抛弃了关系模型并能够在集群中运行，不用事先修改结构定义也可以自由添加字段，这些特征决定了NoSQL非常适用于大数据环境，使NoSQL得到了迅猛的发展和推进。 对于NoSQL，它所采用的数据模型并非传统关系数据库的关系模型，而是类似键-值、列族、文档等非关系模型。因此，与传统关系数据库相比，NoSQL具有易扩展性、高性能、高可用、灵活的数据模型等特点。 【问题探析】 2）NewSQL数据库 NewSQL数据库是对各种新的可扩展、高性能数据库的简称，这类数据库不仅具有对海量数据的存储管理能力，而且保持了传统数据库支持ACID和SQL等的特性。目前，NewSQL数据库主要有Spanner ... ...