南京维数软件技术有限公司 地址：南京市山西路世贸中心大厦,A1,幢,26A15,室,电话：,025-86610680,传真：,025-86610670,#,维数软件,南京维数软件技术有限公司 版权所有,基于元数据的数据综合管理解决方案,目录,什么是元数据,What is,Meta Data,08,元数据管理的目标,Theaimofmeta datamanagement,11,1,如何运用元数据开展数据管理,How to use,Meta Data,to carry out,management work,15,专注于为各行业提供数据挖掘分析服务,云搜索,多终端数据采集,大数据管理,智能比对,数据资源管理,数据图形化分析,机器学习,数据,分析,数据清洗整合工具,数据质量监测,中文分词检索,数据标准管理,高,速,公,安,政法,证,券,铁路,消防,银行,交通,4,多年大数据领域关键技术积累,云计算,图形计算,大数据存储,分布式,并行计算,图像视频处理,内存计算,自然语言处理,可视化分析,数据挖掘,5,全面丰富的大数据应用产品线,数据综合管理平台,分布式数据服务总线,大数据管理及分析应用平台,数据整合平台,数据质量管理及考核平台,智慧搜索平台,可视化数据建模工具,关系分析平台,图像应用平台,6,二,、什么是元数据？,What is,Meta Data,？,8,移动警务系统方案,方案概述,利用专业定制化的移动警务终端，实现对人、地、物、事、组织的信息采集，结合吃、住、行、消、乐基本活动轨迹，建立公安基础信息云数据库，通过大数据分析与共享，实现“全警采集，全警录入，全警应用，全警受益”的执法办案新模式。,9,解决方案,警务人员可以利用移动警务产品对常住人员信息、暂住人员信息、重点人口信息、在逃人员信息、车辆信息 驾驶员信息等进行迅速地查询，随时随地获得公安业务信息的支持并实现实时比对。也可以现场采集信息及时回传公安内部信息中心，特别是照片和相关图片的传输应用。在交警应用方面实现现场车辆查询检索比对报警、罚单打印以及现场实现银行交款。不但可以解决通缉、协查、堵截、搜查、处罚等一线公安工作中对嫌疑人人工照片识别问题，而且通过,GIS,系统为一线提供区域向导图，使民警可以迅速的对区域内的警情做出判断、减少出警时间、减少因对地形不熟悉而造成的伤害和伤亡、减少群众的损失。,方案特点,10,数据源,数据集市,数据仓库,数据缓冲层,报表分析工具,数据挖掘工具,数据字典,数据元,数据目录,数据流动过程,业务术语,业务指标,业务规则,。,技术,元数,据,业务,元数,据,三、元数据管理的目标,Theaimof metadatamanagement,11,企业信息化发展面临的问题,企业信息化发展,随着企业信息化的高速发展，大量业务系统得以建设并积累了海量的数据资源，如何充分发挥这些数据资源的潜在，为企业发展提供有力支撑，是当前企业信息化发展中要重点解决的问题。,海量的异构数据资源,指标口径差异,数据缺乏统一管理,数据流动过程缺乏监督,知识传承缺乏统一载体,质量差,共享难,数据矛盾、冲突,业务理解与开发脱节,标准杂乱,基于元数据的数据资源管理,12,元数据管理的成熟度,自,动化,优化阶段,可控阶段,发展阶段,随机阶段,元数据管理作为常规业务并实现自动化，所有业务都依赖于元数据管理,。,对元数据实施集中存储，并通过监督体制对数据进行管理。,充分意识到元数据重要性，元数据进行集中式管理。,元数据处于可发现状态，初步意识到元数据重要性。,元数据由个人或团队在局部产生或获取，主要在局部使用、修改，随机式管理。,13,元数据管理是企业信息化发展的润滑剂,通过加强内部对数据的控制、理解、应用和维护能力，使其真正具备资产的特征，降低数据处理风险，增强企业对其数据的信心。,跨系统的数据语义统一规范，消除系统交互障碍和隐患，成为具有永久价值的资产。,元数据存储的数据标准信息，规范了企业代码和数据结构，大幅减少,ETL,的工作量，提高了数据质量。,为数据质量管理提供了有效的分析手段，更快地分析和定位问题，缩短了问题处理周期，从而提高了数据辅助开发和运维质量。,基于元数据管理的分析功能，为新需求设计、开发、确定测试范围提供帮助，为维护人员的日常工作提供支持，缩短了项目交付时间并取得更精确的成本估算。,基于调度信息的元数据管理为系统的运行监控及分析提供支持。,信息资产管理,提升数据质量,辅助运维开发,通过统一管理分散在企业内部的元数据（包括技术元数据、业务元数据），可以更好获取、共享、理解和应用企业信息资产，降低数据集成成本，为企业数据标准化提供支撑，促进数据质量的提升，实现企业信息资产价值最大化。,14,四,、如何运用元数据开展数据管理,How to use Meta Data to carry out management work,15,数据标准管理,数据资源管理,数据流动管理,业务知识管理,元数据管理的组成部分,元数据管理系统，可以包括元数据管理，以及元数据应用组成。元数据管理部分，侧重对从各类源头获取的元数据进行汇聚整合，提供可视化的查看管理能力。元数据应用部分在，则侧重使用整合的元数据信息，为用户提供多样化的服务能力，以加强对企业信息资产的管理能力。,元数据管理,数据标准应用,数据资源目录,数据质量监测,主数据管理,数据动态监控,数据影响分析,数据血缘分析,元数据应用,16,元数据的获取,元数据的获取途径，主要包括几个方面：,一是，通过系统提供的标准元数据服务接口，由各源头的业务系统主动向本地推送元数据信息，如数据流动元数据的获取，就可以由各种数据抽取过程的开发方按照规范主动推送。,二是，针对开放有元数据使用服务的各类源头，可以由系统主动从源头进行提取以获取元数据，如各类数据库产品，就可以由系统主动提取对应的数据表、数据项等元数据信息。,三是，通过人工方式进行批量导入或录入。对于无法自动获取的元,数据来源，可以由人工方式进行定时的录入更新，如部分数据标准在必,要的情况下就需要由人工方式进行维护更新。,自动提取,外部推送,人工维护,17,数据字典,数据元,数据标准的管理,提供对数据字典的注册管理功能。,提供对不同数据字典，进行字典项取值映射、对照的能力。,提供对一般平铺结构、树型层级结构、属性位等不同类型字典的存储管理能力。,基于行业标准和事实标准，提供数据元标准的管理能力。,提供对数据元按照对象要素、表示词等分类方式的展示检索能力。,提供数据元中对数据字典的取值引用能力。,提供数据限定词的分类管理能力。,18,数据结构,提供基于数据元的数据结构创建管理能力。,提供对数据结构的,SQL,语句生成能力。,数据资源管理,主要是将被检测的各类应用系统数据资源的数据库、数据表、数据项等各类元数据进行统一分类管理，并实现注册管理、分类检索、统计分析和服务展现等功能。,需要特别指出的是，数据资源管理，应该划分为中心外资源管理和中心数据资源管理两个部分。,仓库外部资源管理，主要是针对中心需要进行整合的各种数据源头生产库资源；,仓库内部资源管理，则是对仓库进行过整合清洗的数据资源的管理。,两套资源之间，可以通过数据的流动建立关联。,数据源,数据表,数据项,19,数据流动管理,流动元数据,数据交换工具,数据库,SQL,脚本,数据访问操作代码,数据流动的可视化展示：,通过对流动元数据的分析，设计以可视化的方式将数据流动过程进行展示，直观的显示数据从不同源头向各个目标数据表的流动处理过程。,数据流动元数据的来源：,一是来自使用各类数据交换工具建立的数据流动模型；,二是来自利用,SQL,语言编写的存储过程、触发器等数据库脚本；,三是使用,JAVA,、,.NET,、,PHP,等不同开发语言访问数据库产生的代码。,20,业务知识管理,对企业在发展过程中积累的诸如业务经验、专业术语、统计口径等知识信息，提供进行知识收集整理、归纳总结、知识发布的完整管理流程，为用户提供知识检索服务。,技能,文化,制度,知识,生成,获取,积累,共享,应用,21,指导建库,关联分析,数据标准应用,数据模型搭建，利用数据元结合限定词灵活生成数据项，进而生成数据表模型，并根据数据库产品的不同生成对应的建表,SQL,语句。,数据模型检查，对于已经建设的数据库表，利用现有的数据元标准对其进行检查审核，以判断数据模型库表的建设是否符合相关数据标准规范,表关联。利用不同库表对数据元的引用，对仓库中的数据库表结构进行分析，找出使用同一个数据元规范的不同数据库表字段，进而建立这些数据字段的关联关系。,字典引用。根据表字段引用的数据元的值域属性，建立数据表字段与数据字典的关联，帮助仓库自动识别不同表字段使用的字典。,22,数据资源目录,23,数据目录,编目分类,资源注册,目录发布,目录检索,目录服务,目录管理,应用统计,企业数据资源目录编制对数据资源共享和提升信息化水平具有十分重要的意义。数据资源目录是通过数据资源描述项记录企业数据资源结构和企业数据资源属性的数据体系。目录编制的过程是梳理业务，明确职责，整理和挖掘数据资源、规范数据表示，摸清数据资源家底的过程,。,数据资源目录体系的建设，是突破企业数据资源共享瓶颈，确保企业数据资源共享取得突破的工作基础。只有有效的掌握了数据资源的具体目录清单，才可以对每类数据资源的情况开展详细分析，掌握数据资源的现行标准和数据情况，为下一步的数据资源整合、主数据的建立、数据仓库的存储、数据集市的应用提供支撑。,数据质量监测,根据数据标准规范和业务应用逻辑规则，对目前各类业务数据进行分析梳理，按不同的数据分类,与对口业务管理部门协同创建服务智能建模的数据质量业务规则模型。,基于已建数据质量业务规则,依托智能建模工具,使用图形化技术、无代码的配置技术，遵循人们的思维习惯，个性化地设计数据质量分析模型，并在建模过程中相对固化一批可复用的智能分析逻辑插件，支撑实现业务逻辑校验、数据质量监控的流程化、智能化。,对智能分析模型自动检测、数据质量管理人员在线巡查、实地调查和内外部举报的问题数据，实现问题数据的举报、联查和按源头数据的权属流程化的预警、分发、签收、处置、反馈闭环管理功能。,业务规则管理,智能分析模型,问题数据处理,设计建设模块化、主题化的数据质量分析统计功能。实现数据质量的自动监控分析功能，能够按照数据质量通报排序的有关要求，实现各类业务数据按照数据合法性、采集完整性、逻辑合理性、业务时效性等指标的定时质量分析，定期自动生成通报排序报表。,数据质量统计,24,主数据管理,主数据（,MD Master Data,）指系统间共享数据（例如，客户、供应商、账户和组织部门相关数据）。与记录业务活动，波动较大的交易数据相比，主数据（也称基准数据）变化缓慢。在正规的关系数据模型中，交易记录（例如，订单行项）可通过关键字（例如，订单头或发票编号和产品代码）调出主数据。主数据必须存在并加以正确维护，才能保证交易系统的参照完整性。,统计分析预测数据,业务数据,核心数据,基础数据,参照数据,财务报表、业务报表,业务交易数据,人员、组织、客户、,项目、产品、物资、,账户,性别、币种、类型,不是主数据,不是主数据,是主数据,是主数据,标准,基于元数据指定统一的主数据规范，提供单一主数据视图,质量,清洗整合合并，确保主数据的唯一性、一致性和完整性,集成,整合各系统的主数据，为应用环境提供可靠的基础数据,共享,实现主数据的业务透视能力，挖掘数据的潜在价值,25,流动过程,监测,数据监测,数据动态监测,对数据交换流动的过程进行监控,，通过对,数据流动的,日志进行分析，获得,日志中的异常信息和数量,的时间分布规律特点，以判断日志交换的,过程,是否正常，交换的数据量是否正常,。,对数据变化的情况进行监控，根据数据波动变化的历史规律，判断不同来源的数据是否在合理的范围内进行变化,对数据更新的滞后、遗漏、和更新质量等情况进行检测。,26,数据影响和血缘分析,27,数据流动元数据,血缘分析,影响分析,数据流动元数据，记载了对数据处