(
课件网) 大数据导论 BIG DATA Technology 第1章 什么是大数据 本章主要内容如下。 （1）人类信息文明的发展。 （2）大数据时代的来临。 （3）大数据的主要特征。 （4）大数据的社会价值。 1.1 人类信息文明的发展 总体来看，人类的信息文明起源于电子计算机技术的产生，尤其电子采集、电子存储、电子处理和电子显示整个电子信息处理全部流程的技术实现，标志着整个人类信息文明相关技术链条的成熟。 随着整个信息链条节点的逐步壮大，人类信息文明终于被开启，并且极大地改变着人类生活的各个方面。 人类信息文明是人类文明极大发展后由量变到质变的产物，同时更集中体现了人类整体文明的发展智慧，极大地丰富了人类的生产和生活方式，尤其提高了人类生产的效率和生活的质量。 1.2 大数据时代的来临 根据IBM公司前首席执行官郭士纳的观点，IT领域基本每隔15年都会迎来一次重大的技术变革（见表 1-1）。1980 年前后，个人微型计算机（Microcomputer）逐步普及，尤其是随着制造技术的完善带来的计算机销售价格的大幅降低，使计算机逐步进入企业和千家万户，大大提高了整个社会的生产力，同时丰富了家庭的生活方式，人类迎来了第一次信息化浪潮。Intel、AMD、IBM、Apple、Microsoft、联想等信息企业成为第一次信息浪潮的“弄潮儿”。 信息技术的发展和不断的快速革新才造就了信息量的指数级增长，而信息量的不断堆积直接造就了大数据概念的出现。随着相关技术的不断成熟，人们终于迎来了大数据时代。 信息化浪潮 发生时间 标志 解决的问题 企业界代表 第一次 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、Apple、Microsoft、联想等 第二次 1995年前后 互联网 信息传输 Yahoo、Google、阿里巴巴、百度、腾讯等 第三次 2010年前后 大数据 信息挖掘 Amazon、Google、IBM、VMWare、Cloudera等 表1-1 3次信息化浪潮 1.2.1 信息技术的发展 大数据时代的到来得益于信息科技的跨越式持久发展，而信息技术主要解决的是信息采集、信息存储、信息处理和信息显示4个核心问题。 这4个核心问题的相关技术的不断成熟才真的支撑了整个大数据时代的全面到来，具体的技术发展表现如下。 1．信息采集技术的不断完善和实时程度的不断提升 大数据时代的到来离不开信息的大量采集。数据采集技术随着人类信息文明的发展已经有了质的飞跃（见图 1-1）。 大数据技术主要依附于数字信息，就数字信息的采集技术而言，现在的数字信息采集方法已经十分完善，文字、图片、音频、视频等多维度的数字信息的采集手段和技术已经十分完备。数据的采集越来越实时化，随处可见实时音频直播和实时视频传播。可以说信息的采集环节已经基本实现实时化，而信息延迟主要在信息传输和信息处理阶段。 图1-1 信息采集的最新技术 2．信息存储技术的不断提升 计算机硬盘的快速发展促进了高安全性和高扩展性的商业领域信息存储乃至信息积累，而移动端闪存的快速发展则拉动了个体生活和社会公共事务方面的快速信息积累，两者相辅相成，共同提供了大数据时代的信息体量支撑。 3．信息处理速度和处理能力的急速提升 信息处理速度主要依靠计算机处理核心CPU的运算能力。 CPU单核心处理能力的演变长期遵循摩尔定律（见图 1-2），即CPU的运算速度随着时间呈现指数增长趋势，所以在很长时间内，行业的发展主要集中在提高CPU单个核心的运算主频上。 图1-2 CPU单核心运算速度摩尔定律 而随着摩尔定律的渐渐失效，尤其是伴随着提高CPU单核心主频带来的商业成本的成倍增加，直接促使技术模式由简单的提高单核心主频向多核心多线程发展，即增加单个CPU的处理核心的数量的同时增加内存和CPU联络的线程数量和通信带宽，这样就可以 ... ...
