单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,6/17/2014,#,北京荣之联,大数据,解决方案,目录,大数,据,据综,述,述,荣之联企业,大,大数,据,据平,台,台方,案,案,大数,据,据平,台,台建,设,设方,法,法,汽车制,造,造业,应,应用,大,大数,据,据畅,想,想,案例,大数,据,据时代,到,到来,IDC,预测,全,全球,的,的数,据,据使,用,用量,到,到,2020,年会,增,增长,44,倍，,达,达到,35.2ZB(1ZB=10,亿,TB),宽带,、,、移,动,动网,络,络普,及,及和,提,提速,移动,网,网络,和,和各,种,种智,能,能终,端,端,视频,(,医疗,影,影像,、,、地,理,理信,息,息、,监,监控,录,录像,等,等,),统计,、,、分,析,析、,预,预测,、,、实,时,时处,理,理,传感,器,器、,RFID,阅读,器,器、,导,导航,终,终端,等,等非,传,传统,IT,设备,社交,网,网络,(Facebook,Twitter,微博,等,等,),数据,处,处理,思,思维,转,转变,少量,的,的样,本,本数,据,据,数据,关,关系,力,力求,明,明确,清,清晰,探求,难,难以,捉,捉摸,的,的因,果,果关,系,系,要求,数,数据,精,精确,无,无误,全量数据,乐于接受数据的,纷,纷繁复杂,转而关注事物的,关,关联关系,数据的精确不是,那,那么重要了,谷歌翻译系统为,了,了训练其系统，收集其能找到,的,的所有翻译；,谷歌收集了上万,亿,亿页的语料库，包括质量参差不,齐,齐的文档；,上万亿的语料库,，,，相当于950,亿,亿句英语；,相对而言，谷歌,的,的翻译质量还是,最,最好的；,谷歌翻译之所以,更,更好，不是因为它拥有,一,一个更好的算法,机,机制，而是增加了各种,各,各样的数据，包括有错误的,数,数据；,在谷歌的翻译团,队,队中，大多数工程师并,不,不懂其翻译出来,的,的语言,；,数据处理思维转,变,变,传统数据分析思,维,维,大数据分析思维,案例一,聘请了20多名,书,书评家和编辑组,成,成的团队，在网页上创立“亚马逊的声音,”,”向客户推荐新,书,书，写书评；,通过客户的购买,历,历史，寻找客户,的,的相似性，对客户分群进行,产,产品推荐，推荐的总是与以,往,往购买的相似或,略,略有区别；,通过大量的数据,分,分析，找出书籍,之,之间的关联关系，即“item-to-item”,时亚马逊发生了,天,天翻地覆的变化。,AMAZON销,售,售额的三分之一,来,来自于“item-to-item”的推荐系统。,AMAZON最,终,终放弃了在线书,评,评，书评团队被,解,解散。,案例,二,数据处理思维转,变,变,数据处理思维转,变,变,关联关系，预测,的,的关键。很多时,候,候，知道“是什,么,么”就够了，没,必,必要知道“为什,么,么”。,一旦我们完成了,“,“关联关系”分,析,析，我们就可以,继,继续向更深层次,研,研究因果关系，,找,找出背后的“为什么”,沃尔玛：请把蛋,挞,挞和飓风用品摆,在,在一起，请把啤,酒,酒和尿片摆在一,起,起；,某信用评分公司,，,，利用Facebook的社交,圈,圈来预测个人偿,还,还债务的可能性,；,；,对冲基金通过分,析,析Twitter微博的数据文,本,本，作为股市投,资,资的信号；,某信用评分公司,，,，利用Facebook的社交,圈,圈来预测个人偿,还,还债务的可能性,；,；,对冲基金通过分,析,析Twitter微博的数据文,本,本，作为股市投,资,资的信号；,其它案例,大数据与,BI,融合*,大数据的商业价,值,值,大数据主要厂商,大型企业和机构,在,在寻求解决棘手,的,的大数据问题时,，,，往往会使用开,源,源软件基础架构,Hadoop,的服务。由于,Hadoop,深受欢迎，许多,公,公司都推出了各,自,自版本的,Hadoop,，也有一些公司,则,则围绕,Hadoop,提供解决方案。,Hadoop,的发行版除了社,区,区的,Apachehadoop,外，,cloudera,，,IBM,，,ORACLE,等都提供了自己,的,的商业版本。商,业,业版主要是提供,Hadoop,专业的技术支持,，,，这对一些大型,企,企业尤其重要。,Cloudera,EMC,。,IBM,Oracle,大数据,生,生态,HIVE,Big Data Applications,Pig!,Zoo,Keeper,SQL,RAW,非结构,化,化资料,汇,汇入,SQL,资料汇入,分散式,档,档案系,统,统,类,SQL,资料库,系,系统,(,非即时,性,性,),分散式,资,资料库,(,即时性,),并行计,算,算框架,资料处,理,理语言,数据挖,掘,掘程序库,目录,大数据,综,综述,荣之联,企,企业大,数,数据平,台,台方案,大数据,平,平台建,设,设方法,汽车制造,业,业应用,大,大数据,畅,畅想,案例,企业大,数,数据平,台,台架构,原,原则*,技术,-,按需频,度,度的数,据,据获取,批量,和,和实,时,时数,据,据采,用,用不,同,同的,技,技术,手,手段,和,和工,具,具，,遵,遵循,统,统一,的,的文,件,件接,口,口标,准,准,技术,-,多样化数,据,据共,存,存,跨同,构,构,/,异构,数,数据,库,库（,物,物理,系,系统,）,），,基,基于,文,文本,、,、数,据,据库,的,的数,据,据抽,取,取和,加,加载,数据,-,数据,即,即服,务,务,业务,人,人员,通,通过,逻,逻辑,数,数据,对,对象,组,组件,访,访问,数,数据,，,，而,不,不用,关,关心,数,数据,的,的物,理,理存,储,储方,式,式。,通,通过,数据组织与,前,前端应用,功,功能,，使业务,人,人员可以,较,较容易、,较,较快地定,位,位和了解,数,数据的内,容,容。,数据,-,数据质量,控,控制,通过一系,列,列的技术,和,和业务手,段,段实现数,据,据集成平,台,台数据质,量,量控制，,主,主要体现,在,在数据正,确,确性（技,术,术）、完,整,整性、一,致,致性（业,务,务）、有,效,效性。,大数据平台整体架构,大数据处理流,程,程,建立对非,结,结构化数,据,据进行,SQL,语法查询,的,的支持，,实,实现与结,构,构化数据,的,的集成关,联,联（,key,）,主分类,关键词,标签,地名,人名,全国统一分类,分词，倒排搜索,共性、个性,文本识别,处理,功能,模块,网页分类,反向搜索,关键词,分析,日志关联,内容分词,索引建立,索引分析,日志合并,用户,类别,标签,摘要,结构化元,信息,网页信息分类,数据获取,语义分析,数据解析,非结构化数,据,据,数,据,获,取,结构化数,据,据,数据集市,数据集市,EDW,结构化,元数据,Hadoop,建立非结,构,构化信息,的,的标签、,摘,摘要、索,引,引、日志,、,、内容等,提取结构,化,化的元数,据,据信息，,如,如类别、,标,标引、摘,要,要等；实,现,现与结构,化,化数据的,整,整合,ODS,SQL,声誉度分析,品牌分析,服务质量分析,竞争产品分析,产品评价,市场动态跟踪,ETL,网络爬虫,大数据关键技术,大数据关键技术,-Hadoop,Hadoop,系统工作原理,大数据关键技,术,术,-,网络数据获取,分布式,网络爬虫,分布式文件系,统,统,分布式存储,横向扩容,(Scale-out),架构,分布式软件架,构,构,并行计算框架,大数据关键技,术,术,-,两种平台相互,集,集成,大数据关键技,术,术,-,数据应用功能,数据查询,数据统计,信息检索,数据分析,语义分析,数据挖掘,经营管理,市场活动,市场口碑,分销管理,决策支持,用户服务,大数据关键技,术,术,-,数据管控,目录,大数据综述,荣之联企业大,数,数据平台方案,大数据平台建,设,设方法,汽车制造业应用大,数,数据畅想,案例,传统数据平台,与,与大数据分布,式,式平台特性差,异,异,大数据分析与传,统,统,BI,分析差异,结构化数据,数据规模一般,为,为,TB,规模,集中式，为了,分,分析进行大量,数,数据移动，数,据,据向计算靠近,批处理为主,结构化,/,非结构化混合,分,分析的能力,数据规模从数,十,十,TB,到,PB,级别,分布式，计算,向,向数据靠近,支持流式分析,事务,关系型数据库,批处理,数据仓库,分析,集群化,非结构化,流式,多种数据源,分析,(MapReduce),组织,传统,BI,分析,大数据分析,大数据处理和,管,管理体系,-,多结构化,大数据实施,建,建议,第一阶段：,应用场景驱,动,动,的大数据开,发,发,第二阶段：,各业务系统,、,、,各渠道系统,等,等,配合大数据,改,改,造优化,第三阶段：,管理信息体,系,系,下的大数据,平,平,台建设,第四阶段（,目,目,标）：,以大数据驱,动,动的，,实时的、整,体,体联,动的IT解决,方案,Thinkbig,，,startsmall.,大处着眼,小,小处着手。,大数据实施方,法,法论,大数据业务,战,战略,大数据建设目标,大数据架构设计,大数据实施,大数据运维,企业战略目标,业务目标,业务模式,大数据治理目标,应用场景,服务模式,服务对象,大数据服务定义,大数据信息模型,大数据管理定义,技术选择,验证测试,容量规划,安装，配置,验收测试,系统上线,大数据服务管理,服务性能管理,生命周期管理,资源调度,系统监控,大数据持续改进,业务调整,服务改进,技术升级,架构优化,大数据的角色和技,能,能,目录,大数据综述,荣之联企业大数,据,据平台方案,大数据平台建设,方,方法,汽车制造业应用,大,大数据畅想,案例,汽车企业,IT,的过去,汽车企业,IT,的将来,业务挑战,产品研发周期响,应,应长,市场扩张不够且,竞,竞争激烈,客户忠诚度不高,成本增长且利润,率,率低,业务趋势,提升客户服务，,增,增加用户粘度,提高生产率,扩大市场份额,加强集团管控,降低成本,绿色经济,新兴技术,云（,Cloud,）,移动（,Mobility,）,社交（,Social,）,大数据（,Big Data,）,一体化平台,客户体验（,CX,）,汽车制造业大数,据,据能力创新的方,向,向,部分数据,开放,实时,/,近实时,封闭,延时,报表,/KPI,“,大,”,数据,更深入,大数据在汽车制,造,造企业的应用,企业级数据,行业数据,跨行业数据,企业传统数据,供应商数据,订单数据,维修记录,分销商数据,客户数据,资源数据,生产数据,产品数据,运营数据,打包价格,客户行为,传感器数据,最终客户需求,客户建议和意见,竞争对手情况,业界预测,行业动,态,态,政策法,规,规,保险,电子商,务,务,交通天,气,气,金融贷,款,款,地理位,置,置,热点事,件,件,旅游市,场,场,公共安,全,全,文化体,育,育,车饰周,边,边,微博微,信,信,共享的,大,大数据,平,平台,深度分,析,析,高敏捷,性,性,高度可,伸,伸缩性,实时,市场宣,传,传和精,准,准营销,提升客,户,户服务,和,和满意,度,度,把握市场需,求,求和供,应,应,掌握车,辆,辆状态,和,和质量,提,提升,支持管,理,理决策,和,和集团,管,管控,大数据在,汽,汽车制,造,造行业,大,大有作,为,为,保证基,础,础信息,质,质量，,保,保证数,据,据揭示,的,的信息,达,达到最,佳,佳使用,效,效果,产品创新,供应优化,精准营销,服务提升,深入,洞,洞察,客,客户,所,所想,，,，所,需,需，,所,所感,，,，所,在,在及,所,所得,通过,大,大数,据,据连,接,接客,户,户和,产,产品,加强,客,客户,和,和产,品,品生,命,命周,期,期管,理,理,客户,销售,营销,忠诚度,服务,驾驶,习,习惯,喜爱,偏,偏好,购买,行,行为,品牌,形,形象,市场,定,定位,营销,渠,渠道,置换,设计,研发,服务,销售,供应,生产,感知,客,客户,行,行为,，,，实,时,