*,大数据分析技术架构解决方案,大数据分析技术架构解决方案,技术基础研究方向,-,技术基础研究方向,技术基础研究方向-技术基础研究方向,开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文,。,获得视频识别，知识学习与推理相关发明专利,2,项，申请发明专利,7,项。,大数据环境下的无重叠视域跟踪,大数据,技术,，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。,多项国家自然科学基金,开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，,大数据技术来实现国家经济免疫系统,数据,接口,大数据知识推理系统,疑点数据,审计数据中心,审计跨,12,个行业，跨地区数据源,审计行业大数据知识推理系统,大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑,房地产大数据,利用大数据建模技术，实现房地产价格指数、房地产评估模型,房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评,碳交易,利用大数据建模技术，,建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数,碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体,目录,目录,数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等,数据挖掘应用领域,数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理,产品名,产品,ETHINK,可视化挖掘,概要,通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出,特点,通过视觉工作方式轻松获得此界面可以保障操作的灵活性,在最短的时间内形成最多样的模型大数据挖掘，速度快,产品通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评,关系型数据库,数据挖掘模型算法库,/,语义分析,Hbase,/Hive/Hdfs,可视化数据,挖掘平台,多维自助分析,调,度,管,理,SQL,接口,JDBC/ODBC,内存计算服务,Scala/Java/Python,OLAP Server,手机,平板,电脑,批处理,实时流处理,交互式查询,统计分析平台,ETHINK,产品架构,关系型数据库数据挖掘模型算法库/语义分析 Hbase/Hiv,特点一,丰富建模方法,特点,可拖拽式建模,JDBC,Web Services,Restful api,可扩展性强,自定义模型，扩充组件,特点,传统的关系型数据,(mysql,、,Oracle,等,),列式数据库,(Hbase),非结构化数据,(Hdfs,、文件系统,),大数据（,Hbase,、,Hive,）,特点一丰富建模方法特点可拖拽式建模JDBC可扩展性强特点传统,特点二,大数据处理,特点,开放型平台,BS,结构，一站式建模、评估、部署,基于,Spark,平台,内存计算,运算速度快,特点,GB,PB,特点二大数据处理特点开放型平台BS结构，一站式建模、评估、部,特点三,大数据处理能力,特点,基于,Spark,平台,内存计算,执行数据挖掘时，方法论非常重要,.,因为准确的方法论能够提高作业速度,能系统地减少各种进展状况，所以选择正确的方法论是很重要的,.CRISP-DM,方法论是全球认可的数据挖掘的标准执行方法论,.,特点三大数据处理能力特点基于Spark平台执行数据挖掘时，方,场景应用（实验室模拟实验课题）,场景应用（实验室模拟实验课题）,目录,目录,交互式查询,实时,在线处理,实时,流处理,批处理,基于,spark,内存的计算模型，同时支持批处理、交互式处理、流处理。,技术架构解决方案,-,要解决的问题,交互式查询 实时 实时,技术架构解决方案,-,分布式内存计算,批处理应用,（分钟级别,小时级别）,OLTP/,在线事务处理应用,（毫秒,秒级别）,OLAP/,在线交互式分析应用,（秒级别）,实时流处理,（持续不断）,技术架构解决方案-分布式内存计算批处理应用OLTP/在线事务,技术架构解决方案,-,交互式查询,通常的时间跨度在数十秒到数分钟之间,按数据维度进行统计、聚合,根据历史数据进行拟合和预测,计算数据之间的相关性和模式等,适合提供高速在线分析服,典型应用场景,政府各部门数据,证券交易,银行保险,企业,ERP/CRM,等,适用于数据量在,GB,到,TB,的高速数据分析,技术架构解决方案-交互式查询通常的时间跨度在数十秒到数分钟之,技术架构解决方案,-,实时在线处理,通常的时间跨度在数百毫秒到数秒之间,数据来源多、高并发、数据处理量达,分析结果快速响应,典型应用场景,社交网络分析、关联关系分析,用户分类、用户行为预测,高并发查询,按主键毫秒级检索,按多维度秒级检索,按照关键字秒级检索,技术架构解决方案-实时在线处理通常的时间跨度在数百毫秒到数秒,事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫秒,秒级。,流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。,典型应用场景,有金融在线欺诈预警,广告,CTR,推荐系统,技术架构解决方案,-,实时流处理,事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫,技术架构解决方案,-,批处理及离线挖掘,时间跨度在数十分钟到数小时之间。,离线挖掘主要用于，多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用。,典型应用场景,电子商务推荐引擎,流失客户预测挽留,日志清洗、,ETL,用户行为分析,技术架构解决方案-批处理及离线挖掘时间跨度在数十分钟到数小时,目录,目录,项目需求,将总行下发的数据及核心业务数据，经过数据整理、加载到省级数据中心，并进行各项业务快速应用开发,数据源,某省公积金中心，近五年的操作、交易记录，共,10,亿条左右。,系统环境,4,台,X86,架构的,PC,服务器，共,128G,内存,单台服务器，,8,核,CPU,32G,内存,解决方案,Hbase,导入海量数据，并支撑大数据查询,可视化设计、可视化报表实现了数据的实时分析,行业应用案例,-,金融,项目需求行业应用案例-金融,行业应用案例,-,金融,系统由对公客户综合积分子系统、展业通客户综合收益分析子系统、授信客户资金结算子系统、对公柜面交易流水分析子系统等组成,行业应用案例-金融系统由对公客户综合积分子系统、展业通客户综,行业应用案例,-,金融,项目需求,整合第三方支付数据资源，分析挖掘客户交易、反馈信息、交易行等数据，实现精准营销，最大限度地提升产品价值,数据源,某第三方支付平台交易、反馈数据，月交易记录量,1,亿条。,系统环境,台,X86,架构的,PC,服务器，共,96G,内存,单台服务器，,8,核,CPU,16G,内存,解决方案,Hbase,导入海量数据，并支撑大数据查询,Hive,对历史交易数据进行分析,可视化设计、可视化报表实现数据的实时分析,基于,ETHINK,可视化挖掘平台，完成精准营销建模,行业应用案例-金融项目需求,持卡客户多维分析：,持卡客户人口统计特征分析,持卡客户交易行为模式分析,持卡客户应用场景分析,特约商户多维分析：,商户基本信息分析,/,商户业务收益分析,商户价值贡献度评估商户收单风险分析,持卡客户和特约商户双向分析,特定特征客户特定时间消费商户分布分析,特定时间在特定商户消费的客户特征分析,行业应用案例,-,金融,持卡客户多维分析：行业应用案例-金融,项目需求,烟草工业企业目前积累了大量的数据信息，管理方式由粗放式管理转为精细化管理，产生了利用大数据技术收集、管理和展示分析结构化和非结构化的数据和信息的诉求，于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题,。,数据存储,近,1,年数据，每秒钟,10000,个数据采集点,系统环境,硬件环境：数据库服务器,1,台,+4,台分布式,pc server,单台,4,核，,16G,内存,解决方案,流处理模块处理设备实时数据流,事件预警开发平台，实现问题预警,基于,ETHINK,数据挖掘建模分析平台,实现疑点挖掘建模,可视化报表设计，完成大数据精益管理,行业应用案例,-,烟草,项目需求行业应用案例-烟草,设备健康指数模型：,利用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况，实现指标关联分析及问题挖掘目的。,行业应用案例,-,烟草,设备健康指数模型：利用数据聚类分析、特征分析、变化和偏差分析,