(
课件网) 数据与信息 第5节 数据与大数据 目录/contents 大数据的概念 01 大数据的特征 02 大数据思维 03 大数据对社会的影响 04 大数据的概念 第一部分 大数据的概念 20世纪90年代末，“大数据”的概念首次由美国硅图公司(SGI）的一位科学家正式提出。 2016年，数据科学家将大数据正式定义为: 大数据代表着信息量大、速度快、种类繁多的信息资产，需要特定的技术和分析方法将其转化为价值。大数据之“大”，不仅指规模、速度和种类的特征，还意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力，要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。 大数据是什么？ 大数据的特征 第二部分 大数据的特征 数据量大并不一定就是大数据，用传统算法和数据库系统可以处理的海量数据不能算“大数据”。 符合大数据概念的数据一般具有数据规模大、处理速度快、数据类型多、价值密度低四个特征，可以用4个V来概括，即数量(Volume)、速度(Velocity)、多样( Variety)和价值( Value )。 数据规模大 处理速度快 数据类型多 价值密度低 数量(Volume) 速度(Velocity) 多样( Variety) 价值( Value ) 特征 4V 大数据的特征 第一，数据体量巨大。大数据收集和分析的数据量非常大。现在，传感器、互联网、智能终端等每天都在源源不断地产生海量数据，人类社会的数据量在不断刷新一个个新的量级单位，已经从TB、PB级别跃升至EB、ZB级别。 可以通过下面这个例子简单感受1EB ( 1EB=2"B)的数据量:一本《红楼梦》约有87万个字(含标点)，每个汉字占两个字节，即1个汉字=2B，由此得出1EB约等于6626亿部《红楼梦》。这个数据量必将随着大数据处理能力的发展而不断扩大。 一本《红楼梦》约有87万个字(含标点) 1EB约等于6626亿部《红楼梦》 大数据的特征 第二，速度快。速度快有两种含义: 一是数据产生的速度快。有的数据是爆发式产生的，比如:微博、微信中的数据，每个用户产生的数据量可能不大，但是由于用户众多，短时间内产生的数据量依然非常庞大。 二是数据处理的速度快。在信息社会中，数据往往实时变化,只有高效率的数据处理技术才能充分发挥数据的价值，例如:通过气象卫星等设备采集到的数据，只有及时处理才能满足天气预报的需求。 大数据的特征 第三，数据类型多。大数据的数据来源多，既有人工产生的，如: 人们日常使用智能手机，短信、微信、视频、语音、电子邮件等会产生各种数据; 也有机器自动产生的，如各种传感器在生产监测、环境监测、交通监测、安防监测等过程中也会产生大量数据。 正因为大数据来自多种数据源，其数据种类和格式不可能保持一致，各种结构化、半结构化和非结构化数据共存是大数据的普遍现象。 大数据的特征 第四，价值密度低。大数据蕴含着巨大的价值，但因其数据量庞大，可能发挥价值的仅是其中非常小的部分，价值密度相对较低。以当前广泛应用的监控视频为例，在连续不间断的监控过程中，大量的视频数据被存储下来，其中有许多冗余数据。 比如:某起交通事故的视频画面，有效的部分可能仅仅只需要几秒钟，大量不相关的视频信息会增加获取有效数据的难度。价值密度的高低与数据总量的大小成反比,“提纯”大数据，让其发挥更大的价值，是人们一直在努力的目标。 大数据思维 第三部分 大数据思维 大数据是一场变革,改变的不仅是数据，还有人们的思维。 其次，对于数据不再追求精确性,而是能够接受数据的混杂性。 首先，大数据要分析的是全体数据，而不是抽样数据。 再次，不一定强调对事物因果关系的探求，而是更加注重它们的相关性。 接受 分析 注重 在大数据处理过程中，数据的来源多种多样，这些数据可以是结构化的、半结构化的， ... ...
