第四章 数据处理与应用 一、常用的表格数据处理 1、数据整理的目的是检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。 2、日常简单的数据处理可以使用Excel软件完成， 专业的数据处理和统计分析工具有SPSS、SAS、MATLAB等，也可以通过R、Python、Java等计算机语言编程进行数据处理。 3、在Excel软件中，可以用公式或函数进行数据的计算。公式和函数都是以“=”开头。 4、单元格引用是指对工作表中的单元格或单元格区域的引用。默认情况下，单元格引用是相对的，如A1;单元格绝对引用，如$A$1;连续的单元格区域引用，如A2:D5;不连续的单元格区域引用，如A2:A5,D2:D5。 5、算术运算符有＾、％、＊、／、十、－，用于进行基本的数学运算。比较运算符有＝、＞、＜、 >＝、<＝、＜＞，用于比较两个值，结果为逻辑值TRUE或FALSE。文本连接运算符"&"， 可以连接一个或多个文本字符串，生成一段文本。 6、Excel内置函数 函数名 使用 说明 SUM SUM(A1:A10) 求和 AVERAGE AVERAGE(A1:A10) 求平均值 MAX MAX(A1:A10) 求最大值 MIN MIN(A1:A10) 求最小值 COUNT COUNT(A1:A10) 求数量 RANK RANK(A1,A1:A10) 求排名 7、相对引用与绝对引用：Excel中对单元格的引用可以是相对的，也可以是绝对的，相对的例如A1:A10,绝对引用一般用$符号标识，例如$A1就是锁定列，在填充的时候A不会随着单元格位置的变换而变换,同理A$1就是锁定行，$A$1就是锁定行列。 8、图表是用视觉形式向人们展示数据的一种方法。 常见的图表类型有柱形图（对比数据大小）、 折线图（变化趋势）、 饼图（占比）、 雷达图、 散点图、 气泡图。 9、生成图表的步骤：先选取数据区域，再插入图表，选择图表类型 10、图表数据区域： 1）、在表格中找到图表x轴对应的数据 2）、在表格中找到图表y轴对应的数据 3）、在表格中找到图例对应的数据 4）、高平齐长对正 二、大数据处理架构 1、大数据具有数据量大、数据来源与类型多样、处理速度快等特点。 2、处理大数据时，一般采用分治思想。 3、处理大数据的基本方法有批处理计算（静态数据）、流计算（流数据或实时数据）、图计算（图数据）三种。 4、分布式计算 (Distributed Computing) 是把一个需要非常巨大的计算能力才能解决的问题 分成许多小部分， 然后把这些部分分配给许多计算机进行处理， 最后把这些计算结果综合起来得到最终的结果。 5、并行处理(Parallel Processing)是计算机系统中能同时执行两个或更多处理的一种计算方法。 6、Windows的文件系统采用FAT32或 NTFS, Linux的文件系统为 Ext2/Ext3/Ext4。 7、HBase是一个高可靠、高性能、 可伸缩、分布式的列式数据库。 8、Map Reduce是一种分布式并行编程模型， 能够处理大规模数据集的并行运算。 三、使用pandas处理数据 1、pandas提供了Series和DataFrame两种数据结构。使用这两种数据结构，可完成数据的整理、计算、统计、分析及简单可视化。 2、在Python中引入pandas模块的方法：import pandas as pd 3、Series是一种一维的数据结构，包含一个数组的数据和一个与数据关联的索引 (index)，索引值默认是从0起递增的整数。列表、字典等可以用来创建Series数据结构， 与列表不同的是，Series的索引可以指定，类型可以为字符串型。 4、创建Series样例如下图 5、通过索引可以选取Series对象中的值， 通过赋值语句可以修改Series对象中的值。如：s1[0]=168 、s2["s01 "]=168, 可将sl、s2对象中的“ 166"改为“ 168 ”。 6、DataFrame是一种二维的数据结构由1个索引列(index)和若干个数据列组成，每个数据列可以是不同的类型。 DataFrame可以看作是共享同一个index 的Series 的集合。 创建DataFrame对象的方法很多， 通常用一个相等长度的列表或字典来创 ... ...
~~ 您好，已阅读到文档的结尾了 ~~
