(
课件网) 高中信息技术 必修一 数据与计算 第 一 章 数据与大数据 第三节大数据及其作用与价值 信息技术的快速发展与广泛应用加速了数据总量的增长。公共 场所的安保监测系统在实时监测过程中会产生数据;人们在使用城市 公共交通的刷卡付费系统时也会产生数据;人们在利用各种网络社交工具进行互动交流时同样会产生数据。这些数据的规模呈现指数级数 增长,人类进入了大数据时代。大数据已成为社会的一项重要资源。 课 堂 导 入 体 验 思 考 小申在电子图书网站上查看电子图书的信息时,发现网站上会立即显示“搜索此图书的人还在搜索的 图书”或“给您推荐的图书”等信息,这些信息还会根据小申搜索图书情况的变化而持续更新。 思考： 1. 电子图书网站向小申推荐图书的依据是什么 2. 举例说明,日常生活中还有哪些场景具有类似的智能推荐功能。 一、理解大数据 图 1.29 大数据的特征 规模庞大 种类繁多 持续快速 更新 价值巨大 但价值密度低 1. 数据规模大 借助可穿戴设备、物联网和云计算等技术,人们的行为和物体的运行轨迹可以被采集和保存,形成大规模数据。 2. 数据类型多 网络时代,数据的种类越来越多样,从二维表格表示的关系数据, 扩展为文本数据、网络日志、音频、视频、图片、地理位置信息等等。 3. 处理速度快 大数据的“快”表现在多个层面上,它既包括数据产生得快,也要 求数据处理得快。海量、多样的数据快速处理对数据处理的速度提出 了更高的要求。 4. 价值密度低 大数据是有价值的,价值密度的高低与数据总量的大小几乎成反比。大量的不相关数据,不经过处理则价值较低,属于价值密 度低的数据。 二、大数据处理过程 数据采集 数据预处理 数据分析 数据挖掘应用 图 1.31 部分手持实验技术仪器 数据采集 大数据的采集是大数据处理过程中的最初环节,它可以通过射频 识别技术(RFID)、传感器技术、社交网络媒体等方式,获得各种类型 的海量数据。例如,随处可见的共享单车就是通过 智能锁中的通信模块和用户身份识别卡(SIM),将 单车的通信连接状态、车锁状态、使用记录等数据, 通过网络上传到共享单车的服务平台上。 而有“掌 上实验室”之称的手持实验技术(如图1.31所示) 应用中,通过采集与传感设备把外界环境中的某个物理量的变化以模拟信号输出,再经过模拟数字转换装置进行转换,得到实验数据后,可上传至云端存储起来,以备实验分析和处理用。 2. 数据预处理 大数据采集过程中通常有一个或多个数据源,所采集的数据易受到噪声数据、数据缺失、数据冲突等影响。因此,需要对采集的数据进行预处理,以保证大数据分析与预测结果的准确性与价值。 出租车在运营过程中,可能会由于高层建筑物遮挡、驶入地下隧道以及 出租车本身的定位系统装置故障等原因,导致出租车定位数据缺失。 此外,由于数据采集设备的不稳定或者司机的误操作,会导致两条或多条记录重复。对于这样的重复数据,就需要进行合并或删除操作。 3. 数据分析 数据分析是大数据处理中的关键环节。根据大数据应用情境与 决策需求,选择合适的数据分析技术,提高大数据分析结果的可用性、 准确性和价值。这个过程的主要特点就是目的清晰,按照一定的规则 进行处理,才能得到有效分析。 例如,在获得出租车的运行数据后,可以进一步得到出租车每一次载客运营的起点和终点以及相应的时间, 进而得到人们在工作日各个时间段的出租车用车情况。 4. 数据挖掘应用 经过数据分析,可以描述出事物的变化状况,找出其中的规律,将分析结果运用到实践中。例如,根据时段与地区的出行热力图,实时分析旅游景点、居民区、学校、商业区等地区的人流量变化,调整社会安保人员,保持良好的社会秩序。 三、大数据的作用及社会影响 1. 大数据的作用 ... ...
