粤教版（2019）高中信息技术必 修1 5.2 数据的采集 课件（共44张PPT，内含视频素材）

(课件网) BIG DATA 5.2 数据的采集 第五章 SHU · JU · DE · CAI · JI ” 授课人：xxx 知识回顾 新授 处理数据的一般过程： 数据采集 数据分析 数据可视化表达 新授 处理数据的一般过程： 数据采集 数据分析 数据可视化表达 数据采集的方法和工具 数据的存储和保护 ONE 数据采集的方法和工具 01 数据采集的方法和工具 什么是数据采集 1 体验数据采集的过程 2 数据采集的方法和工具 3 ” ” ” 什么是数据采集 数据采集：根据需求采用适当的方法和工具获取数据。 如： 将文字录入电脑———键盘打字、扫描仪扫描 记录课堂活动———照相机拍照、摄像机摄像等 记录一段声音———麦克风录音 体验数据采集 问：如何记录全班同学当前的体温？ 需要获取什么数据？ 温度 怎么获取？ 测温仪/体温计 为什么能够获取？ 温度传感器/液体金属热胀冷缩 如何记录获取到的数据？ 填纸质表、问卷星登记等 数据采集的过程 明确数据应用项目的需求 围绕选定的项目主题，制定数据采集的需求清单和内容大纲 01 采用适当的方法和工具 针对不同的数据类型，选择适当的工具和方法，采集数据 02 数据的存储和保护 要选择合适的存储方式并注意数据安全 03 数据采集的方法和工具 系统日志采集法 数据采集的基本方法： 网络数据采集法 其他数据采集法 数据采集的方法和工具 系统日志采集法 1.什么是系统日志？ 2.系统日志采集数据的方法是怎样的？ 数据采集的方法和工具 系统日志采集法 1.什么是系统日志？ 在信息系统中，系统日志是记录系统中硬件、软件和系统问题的信息文件。 包括操作系统日志、应用程序日志、安全日志。 数据采集的方法和工具 系统日志采集法 2.系统日志采集数据的方法是怎样的？ 在目标主机安装一个小程序，将其上的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器上进行存储、监控和管理。 数据采集的方法和工具 其他数据采集法 如：传感器采集数据 手机、智能手环等内置了多种传感器 数据采集的方法和工具 网络数据采集法 指通过网络爬虫或网站公开API（应用程序接口）等方式从网站上获取数据信息。 网络爬虫 数据采集的方法和工具 网络数据采集法 指通过网络爬虫或网站公开API（应用程序接口）等方式从网站上获取数据信息。 网络爬虫 数据采集的方法和工具 请观看视频： 《网络爬虫到底是什么，学这个真的是“从入门到入狱”吗？》 思考如下问题： 1.什么是网络爬虫？ 2.网络爬虫的应用有哪些？ 3.网络爬虫获取数据的流程是怎样的？ 4.Robots协议是什么？ 5.使用什么工具编写爬虫 数据采集的方法和工具 1.什么是网络爬虫？ 程序脚本 可以用它来浏览网页 收集有用的数据 数据采集的方法和工具 1.什么是网络爬虫？ 网络爬虫：又称网络蜘蛛、网络蚂蚁、网络机器人等。 按照人们事先制定的爬取规则，可以代替人们自动地在互联网中进行数据的采集与整理。 即：可以自动采集网络数据的程序 数据采集的方法和工具 2.网络爬虫的应用有哪些？ 数据采集的方法和工具 3.网络爬虫获取数据的流程是怎样的？ 数据采集的方法和工具 3.网络爬虫获取数据的流程是怎样的？ 获取网页的URL 爬取网页的内容 分析网页的内容 提取有用的数据 获取其他的URL，重复前面的步骤，直到满足停止条件 数据采集的方法和工具 4.Robots协议是什么？ 规定了: 哪些数据可爬取 哪些不可以 数据采集的方法和工具 注意：网络爬虫的合法性 若采集的数据是个人使用，不违法 若采集的数据使用时涉及商业盈利范畴，可能违法 数据采集的方法和工具 5.使用什么工具编写爬虫？ 数据采集的方法和工具 5.使用什么工具编写爬虫？ 使用Python语言的第三方库来实现爬虫编写 使用到的库： requests库—— ... ...