(
课件网) 高中信息技术 必修一 数据与计算 第 三 章 数据处理与应用 第1节 数据采集、整理与安全 本章学习目标 通过典型的应用实例,了解数据采集和整理的基本方法,理解数据安全的重要性。 选用合适的软件工具或平台处理数据,掌握数据可视化的基本方法。 了解数据分析报告的结构形式,完成解决问题的数据分析报告,感悟数据分析的价值 项目主题 交通数据利抉择 项·目·情·境 共享单车的诞生,顺应了“绿色出行”的环保理念,解决了人们出行“最后一公里”的烦恼。但与此同时,又有新的问题浮出水面。 小申是一名“优秀志愿者”,他的服务岗位是学校附近的共享单车站点。因为 学校周边还有地铁站、图书馆等,所以小申服务的站点的共享单车租放量很大。有时共享单车太多而挤占了人行道,有时人多而共享单车却供不应求,小申看在眼里 急在心里。共享单车使用的“潮汐”难题如何破解呢 项·目·任·务 任务1 任务2 任务3 利用信息技术工 具收集共享单车使用 过程中的相关数据,形 成数据集。 学习数据处理的 常用工具和方法,对数 据集进行整理,用可视 化方式呈现出来。 应用项目活动中 的数据处理结果,以小 组为单位撰写数据分 析报告,交流分享学习成果。 课 堂 导 入 当今社会,信息技术开始渗透至人类日常生活的方方面面,随之而产生的数据量也呈现指数级数增长的态势,例如物联网传感器、社交网络等每时每刻都产生着大量的数据。面对数据量的快速增长及 变化、数据来源的多元化、数据呈现方式的多样化,我们在遵守相关法 律法规、尊重知识产权的前提下,有效地采集与整理数据是进行数据处理的基础。 一、数据采集 数据 来源 传感设备 互联网 企业内部数据库等途径 问卷调查 （1）获取网页 （2）解析网页 （3）保存数据 2. 互联网数据采集 获取网页的源代码。源代码里包含了网页的部分有用信息,只要得到源代码,就可以从中提取想要的信息了。 获取源代码的关键就是构造一个请求并发送给服务器,然后在接收到服务器响应后将其解析出来。 获得网页的源代码后,接下来就是要分析网页源代码,从中提取我们想要的数据。由于网页的结构有一定的规则,所以可以利用一些 用于提取网页信息的库(如BeautifulSoup、PyQuery、lxml等),高效 快速地提取网页信息。 解析网页并从中提取信息,可以使杂乱的数据变得条理清晰,以 便我们后续处理和分析数据。 提取数据后,我们一般会将其保存,以便后续使用。保存的形式多种多样,如文件存储、数据库存储或网络存储等。 二、数据整理 数据整理是数据分析过程中的重要环节,包括检查处理数据的重复值、缺失值和异常值等。数据的重复值会导致数据分布发生较大变化。数据的缺失值会导致样本信息减少,降低数据分析的准确性。数 据的异常值不仅增加了数据分析的难度,而且会导致数据分析的结果 产生偏差。 数据整理的过程是否科学、结果能否真实地反映客观实际,将直 接影响数据处理的质量,影响整个数据分析的准确性。 三、数据安全 随着大数据、物联网、云计算等技术和应用的日渐兴起,大数据应 用越来越被人们所重视。然而,数据在体现和创造价值的同时,也面 临着严峻的安全风险。在复杂的应用环境下,保障国家重要数据、企业机密数据和用户个人隐私数据等不发生外泄,是数据安全的首要任 务。海量多源数据在大数据平台汇聚,强化数据隔离和访问控制,实 现数据“可用不可见”,是大数据环境下数据安全的新要求。 目前,全国各地正在积极有序地推进新版社会保 障卡的换发工作,如图 3.8所示。新版社会保障卡既有 社会保障应用功能,也有金融应用功能,并采用先进的 互联网安全技术手段,构建网络与人之间的可信链接, 确保在互联网上实现“实人、实名、实卡”,使人们能够 高效、安全 ... ...
