单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大数据概述,大数据的特点,大数据概述大数据的特点,大数据的特点,大数据的特点,大数据的,特点,从,对象角度看，大数据是大小超出典型数据库软件采集、储存、,管理和,分析等能力的数据集合。大数据并非大量数据的简单无意义的,堆积，,数据量大并不意味着一定具有可观的利用前景。数据间是否具有,结构性,和关联性，是“大数据”与“大规模数据”的重要差别,。,大数据的特点从对象角度看，大数据是大小超出典型数据库软件采集,大数据的特点,从,技术角度看，大数据技术是从各种各样类型的大数据中，快速,获得有价值,信息的技术及其集成。“大数据”与“大规模数据”、,“海量数据”,等类似概念间的最大区别，就在于“大数据”这一概念中,包含着,对数据对象的处理行为。为了能够完成这一行为，从大数据对象,中快速,挖掘更多有价值的信息，使大数据“活起来”，就需要综合,运用灵活,的、多学科的方法，包括数据聚类、数据挖掘、分布式处理等,，而,这就需要拥有对各类技术、各类软硬件的集成应用能力。可见，,大数据,技术是使大数据中所蕴含的价值得以发掘和展现的重要工具,。,大数据的特点从技术角度看，大数据技术是从各种各样类型的大数据,大数据的特点,从,应用角度看，大数据是对特定的大数据集合、集成应用大数据,技术、,获得有价值信息的行为。正由于与具体应用紧密联系，甚至是,一对一,的联系，才使得“应用”成为大数据不可或缺的内涵之一。,大数据的特点从应用角度看，大数据是对特定的大数据集合、集成应,1.,数据量大,1.数据量大,1.,数据量大,根据,IDC,作出的估测，数据一直都在以每年,50%,的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）,人类在最近两年产生的数据量相当于之前产生的全部数据量,预计到,2020,年，全球将总共拥有,35ZB,的数据量，相较于,2010,年，数据量将增长近,30,倍,1.数据量大根据IDC作出的估测，数据一直都在以每年50,2.,数据类型繁多,大数据是由结构化和非结构化数据组成的,10%,的结构化数据，存储在数据库中,90%,的非结构化数据，它们与人类信息密切相关,2.数据类型繁多大数据是由结构化和非结构化数据组成的,2.,数据类型繁多,Web,1.0,数据,文本,图像,视频,Web 2.0,数据,查询日志,/,点击流,Twitter/Blog/SNS,Wiki,非结构化数据类型多样,邮件、视频、微博,位置信息、链接信息,手机呼叫、网页点击,“长微博”,2.数据类型繁多Web 1.0数据非结构化数据类型多样,2.,数据类型繁多,科学研究,基因组,LHC,加速器,地球与空间探测,企业应用,Email,、文档、文件,应用日志,交易,记录,2.数据类型繁多科学研究,3.,处理速度快,从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少,1,秒定律：这一点也是和传统的数据挖掘技术有着本质的不同,3.处理速度快从数据的生成到消耗，时间窗口非常小，可用于,3.,处理速度快,Google Dremel,数据模型,3.处理速度快Google Dremel数据模型,4.,价值密度低,价值密度低，商业价值高,以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值,4.价值密度低价值密度低，商业价值高,4.,价值密度低,科学研究,企业应用,社会,网络,4.价值密度低 科学研究 企业应用 社会网络,