(
课件网) 5.3数据的分析 数据分析就是在一大批杂乱无章的数据中, 运用数字化工具和技术，探索数据内在的结构和规律,构建数学模型，并进行可视化表达,通过验证将模型转化为知识，为诊断过去、预测未来发挥作用。 数据分析一般包括特征探索、关联分析、聚类与分类、建立模型和模型评价等。 特征探索是对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。 关联分析是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。 聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，根据描述对象相互间的相似度自动进行分类。 聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 应用： 商业：聚类分析被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的特征。聚类分析是细分市场的有效工具，同时也可用于研究消费者行为，寻找新的潜在市场、选择实验的市场，并作为多元分析的预处理; 电子商务：聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，可以更好的帮助电子商务的用户了解自己的客户，向客户提供更合适的服务。 数据分类是数据分析处理中最基本的方法。贝叶斯分类技术是一种常用的、非规则的分类方法。 5.4数据的可视化表达 数据可视化表达的方式 在大数据时代，复杂繁多且不同类型的数据大量涌来，往往超出了人们的处理能力，人类的大脑也难以从堆积如山的数据中快速发现核心问题，而数据可视化可以把枯燥乏味的海量数据以丰富的视觉效果呈现数据所反映的本质问题，有效提升数据分析的效率。 大数据可视化是指以图形、图像、地图、动画等生动、易于理解的方式展示数据和诠释数据之间的关系、趋势与规律等，以便更好地理解数据。 大数据可视化可以让人们快速抓住要点信息，让关键的数据点从人们的眼睛快速通往、心灵深处。 从常用和实用的维度，大数据可视化的呈现类型主要分为探索和解释两种不同的类型。探索类型可以帮助人们发现数据背后的价值，而解释类型则把数据简单明了地解释给人们。按照处理数据类型的不同，可视化呈现的主要方式如下表所示。 体验制作词云 https://www.weiciyun.com/ 二、数据可视化表达的工具 数据可视化呈现的形式千变万化,实现的工具众多。Python嵌入了大量数据可视化的工具，专业的数据可视化工具模块包括Seaborn和Bokeh等。 Seaborn Seaborn主要关注统计模型的可视化。例如,直方图既可以总结数据，描绘总体分布。 Bokeh可实现交互式可视化。Bokeh的重点在其交互性 ,且是通过浏览器以数据驱动文档的风格呈现。 练习题： 下列关于大数据的特征，说法正确的是（D ）。 A．数据价值密度高 B．数据类型少 C．数据基本无变化 D．数据体量巨大 数据特征探索的主要任务是对数据进行预处理，以下不属于该过程的是（D ）。 A．数据清洗 B．异常数据处理 C．数据缺失处理 D．数据分类处理 练习题： 3.海军军官通过对前人航海日志的分析，绘制了新的航海路线图，标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的（B ） 在数据基础上倾向于全体数据而不是抽样数据 在分析方法上更注重相关分析而不是因果分析 在分析效果上更追究效率而不是绝对精确 在数据规模上强调相对数据而不是绝对数据 4.大数据时代已经在悄悄地改变我 ... ...
