专题04 数据处理与应用（知识清单）-2024-2025学年高中信息技术一轮复习（浙教版）

专题04 数据处理与应用 【学习目标】 理解数据处理的重要性：使学生能够理解数据在现代信息社会中的应用价值，以及准确处理数据对于数据分析结果的影响。 掌握基本的数据整理技巧：教授学生如何识别和处理数据缺失、重复、异常、逻辑错误和格式不一致等问题，确保数据的质量和可用性。 熟悉常用数据处理工具：介绍Excel等常用数据处理软件的基本操作，包括公式的应用、单元格引用、算术及文本运算符的使用，以及函数的应用等。 【思维导图】 【知识梳理】 知识点一：数据整理 1.常见的数据问题及其处理方法： （1）数据缺失：数据集中普遍存在的问题，一般可能是数据丢失或数据本身不完整 处理方法：忽略或采用平均值、中间值或概率统计值填充。 （2）数据重复：在多数据源合并时经常出现，导致资源冗余和浪费。 处理方法：进一步审核的基础上进行合并或删除。 （3）异常数据：数据集中的某些数据不符合一般规律，例：健康系统显示体温到达50摄氏度。 处理方法：这些有可能是要去掉的噪声，也有可能是含有重要信息的数据对象。 （4）逻辑错误：属性与实际不符，违背业务规则或逻辑，例：某人的生日为13月40日 处理方法：对应的字段需要设置取值范围判断。 （5）格式不一致：多出现在数据来源多样的系统中 处理方法：将不同格式的数据转换成统一格式后再进行处理。 2.常用的数据处理和统计分析工具有Excel、 SPSS、SAS、 MATLAB等软件，也可以通过R、Python、Java等计算机语言编程进行数据处理。 3.常见的图表类型有：柱形图、折线图、饼图、雷达图、散点图、气泡图等。 知识点二：大数据处理 1.大数据处理的基本思想：“分治思想”，即将一个复杂的问题拆分成两个或多个相同或相似的子问题，找到求这几个问题的解法之后，再找出合适的方法把它们组合成求整个问题的解法。 2.大数据处理的数据类型： （1）静态数据：在处理时已经收集完成、在计算时不会发生改变的数据 处理方法：批处理 （2）流数据：不间断地、持续地到达的实时数据。流数据的价值会随着时间的流逝降低。 处理方法：流计算或实时分析计算 （3）图数据：现实世界中以图形式展现的数据。如社交网络、道路交通等 处理方法：图计算 3.批处理 Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批量计算。Hadoop计算平台主要包括Common公共库、分布式文件系统HDFS、分布式数据库HBase、分布式并行计算模型MapReduce等多个模块。 （1）分布式文件系统（HDFS）：将大规模海量数据以文件的形式、用多个副本保存在不同的存A储节点中，并用分布式系统管理。HDFS是一个高度容错性的文件系统，云盘、网盘的底层一般采用HDFS实现。 （2）分布式数据库（HBase）： HBase建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要存储韭结构化和半结构化的数据，具有良好的横向扩展能力。 （3）分布式并行计算模型（MapReduce）： MapReduce是一种分布式并行编程模型，能够进行大规模的并行计算。其核心处理思想是将任务分解并分发到多个节点上进行并行处理，最后汇总输出。 4.流计算 流计算主要用于处理流数据，如大型购物网络的广告推荐、社交网络的个性化推荐等。处理流数据的软件主要有Twitter Storm， Heron， Yahoo！S4等。Storm和S4是目前较为流行的开源分布式实时计算系统。 5.图计算 现实世界中的很多数据以图的形式呈现，或者是需要转换为图后才能分析。目前图处理的软件主要分为两类：图数据库和并行图处理系统。 知识点三：编程处理数据 利用pandas模块处理数据 利用matplotlib模块绘图 利用pathon分析数据实践 知识点四：编程处理数据 1.文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、 垃 ... ...