赞
踩
从根本上说,数据治理的目标是保障数据资产的质量,促进数据资产的价值创造。这个根本目标可以分解成以下6项:
可以使用8.5.3节阐述的DCMM数据管理能力成熟度评估模型,对数据治理的目标达成程度进行科学评估,找出差距,制订持续可行的推进方案,逐步达成目标。
数据治理的原则可以总结为以下6条。
数据资产管理就是传统的数据治理的升级版,可以认为是数据治理2.0
《数据资产管理实践白皮书4.0》中规定,数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理和数据共享管理共8个方面。
1.数据标准概念
数据标准是对数据的表达、格式及定义的一致约定,包含数据业务属性、技术属性和管理属性的统一定义;数据标准的目的是使组织内外部使用和交换的数据是一致的、准确的。
举例来说,对于一个企业来说,营销、财务、总经理办公室等不同的部门可能都会产出“利润率”这个指标,所以需要统一“利润率”这个指标标准,如果确实有多个不同口径的“利润率”需要同时存在,则必须用不同的限定词把它们区分开,如销售利润率、成本利润率、产值利润率、资本金利润率、人均利润率等。对于每一种指标,都必须明确阐述其唯一的业务含义,明确其计算公式、数据来源、限定范围(如时间范围、业务范围),并确保这种指标标准是可供业务部门和技术部门参考,有专人维护的。
2.如何制定数据标准
3.数据标准分类
按照DCMM的分类,数据标准可分为以下几类:
业务术语是被批准、管理的业务概念定义的描述,需要通过流程来定义组织如何创建、审批、修改和发布统一的业务术语,进而推动数据的共享和在组织内部的应用,如银行的业务术语贷款展期、收息、兑付等。
参考数据是用于将其他数据进行分类或目录整编的数据,可以简单理解为是数据字典,是数据可能的取值范围,比如我国的省份,它总是在一个固定的可选范围之内,又如性别的分类和取值范围、货币币种的分类和取值范围。主数据是组织中需要跨系统、跨部门共享的核心业务实体数据。主数据因为其重要价值,被喻为企业的黄金数据记录,如多个系统共享的客户、商品等核心业务实体数据。
数据元是用一组属性描述其定义、标识、表示和允许值的数据单元,是描述数据的最基本单元。数据元由3部分组成:对象类、特性、表示值域和数据类型的组合。数据元是一个相对抽象的概念,感兴趣的读者可以寻找相关的资料深入学习,如参考DCMM里数据元的相关内容。
指标数据是组织在经营分析过程中衡量某一个目标或事物的数据,一般由指标名称、指标解释、时间限定、其他条件限定、指标数值等组成,如企业的人均利润率、季度离职率等。
4.数据标准化的难题
主要有以下几种情况:
以上这些原因,导致数据标准化工作很难开展,更难取得较好的成效。数据标准化难落地,是数据资产管理面临的现状,不容回避。
5.如何应对这些难题
要解决数据标准化的难题,需要从以下几个方面入手:
第一,制定可落地的执行方案。 执行方案要侧重于可落地性,不能落地的方案最终只能被废弃。一个可落地的方案要有组织架构和人员分工,每个人负责什么,如何考核,怎么监管,都必须纳入执行方案中。
第二,正确认识数据标准建设的目, 即是统一组织内的数据口径,指导信息系统建设,提高数据质量,更可信地处理和交换数据,而不是应付上级和监管机构的检查。这样可以避免数据标准制定出来,应付完监测后就被束之高阁的情况发生。后者显然只是一个短期的临时策略,难以产生长期的正面影响。
第三,正确认识咨询公司在数据资产管理工作前期的作用。 咨询公司的定位应该是准确评估组织的数据管理水平,制订可以落地的方案,而不应一味地追求咨询输出物的技术含量。尽量聘请行业经验丰富、可靠的咨询公司帮助做数据资产管理前期的咨询工作。
第四,充分认识到数据标准化的难度。 要取得管理决策层的支持,提升组织管理水平,做好长期推进的工作准备,建立起数据标准化的工作制度和流程,遇到问题通过正式的流程和沟通机制逐步解决。
第五,实际落地中,建立起科学可行的数据标准落地形式。 在实践中,往往需要考虑如何把数据标准落地到已有的系统和大数据平台中。
数据标准的落地通常有如下3种形式。
上面讨论了数据标准落地的3种形式。在数据标准落地的过程中,还需要做好如下这几件事。
数据模型管理主要是为了解决架构设计和数据开发的不一致,而对数据开发中的表名、字段名等规范性进行约束。数据模型管理一般与数据标准相结合,通过模型管理维护各级模型的映射关系,通过关联数据标准来保证最终数据开发的规范性。理想的数据模型应该具有非冗余、稳定、一致和易用等特征。
《数据资产管理实践白皮书4.0》中对数据模型管理内容方面的论述和介绍如下:
数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型3种。
数据模型管理是指在信息系统设计时,参考业务模型,使用标准化用语、单词等数据要素来设计企业数据模型,并在信息系统建设和运行维护的过程中,严格按照数据模型管理制度,审核和管理新建数据模型,数据模型的标准化管理和统一管控,有利于指导企业数据整合,提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等。数据模型管理的关键活动包括:
数据模型是数据资产管理的基础,一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性,使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。
业内通常把元数据分为以下类型。
4.元数据的应用,那么有了元数据以后,能做什么呢?
(1)元数据浏览和检索
通过提供直观的可视化界面,让用户可以按不同类型对元数据进行浏览和检索。通过合理的权限分配,元数据浏览和检索可以大大提升信息在组织内的共享。
(2)数据血缘和影响性分析
数据血缘和影响性分析主要解决“数据之间有什么关系”的问题。因其重要价值,有的厂商会从元数据管理中将其单独提取出来,作为一个独立的重要功能。但是考虑到数据血缘和影响性分析其实是来自于元数据信息,所以还是放在元数据管理中来描述。
血缘分析指的是获取到数据的血缘关系,以历史事实的方式记录数据的来源、处理过程等。以某张表的血缘关系为例,其血缘分析展示如图8-5所示。数据血缘分析对于用户具有重要的价值,比如当在数据分析中发现问题数据的时候,可以依赖血缘关系,追根溯源,快速定位到问题数据的来源和加工流程,减少分析的时间和难度。
数据血缘分析的典型应用场景:某业务人员发现“本月客户增长情况”报表数据存在明显不合理的情况,于是向数据部门提出异议,技术人员通过元数据血缘分析发现,“本月客户增长情况”报表受到上游DWD(DataWarehouse Detail,明细数据层)6张不同的数据表的影响。通过这种方式,技术人员可以快速定位到问题的源头,低成本地解决问题。除了血缘分析之外,还有影响性分析,它能分析出数据的下游流向。当系统进行升级改造的时候,如果修改了数据结构、ETL程序等元数据信息,依赖数据的影响性分析,可以快速定位出元数据修改会影响到哪些下游系统,从而减少系统升级改造带来的风险。从上面的描述可以知道:数据影响性分析和血缘分析正好相反,血缘分析指向数据的上游来源,而影响性分析指向数据的下游。
影响性分析的典型应用场景:因业务系统改造升级,某个部门在DATAWAVE_FINANCE这张表中将字段TRADEID的长度由8字节修改为64字节,需要分析本次升级对后续相关系统的影响。对元数据DATAWAVE_FINANCE进行影响性分析,发现对下游ADS(Application Data Store,应用数据层)相关的3个指标都有影响,定位到影响之后,数据部门及时通知下游相关系统的管理人员,修改了下游的相应程序和表结构,避免了问题的发生。由此可见,数据的影响性分析有利于快速锁定元数据变更带来的影响,将可能发生的问题提前消灭在萌芽之中。
(3)数据冷热度分析
冷热度分析主要是对数据表的被使用情况进行统计,如表与ETL程序、表与分析应用、表与其他表的关系情况等,从访问频次和业务需求角度出发,进行数据冷热度分析,用图表展现表的重要性指数。
数据的冷热度分析对于用户有着巨大的价值,其典型应用场景有:如果观察到某些数据资源处于长期闲置,没有被任何用户查看,也没有任何应用去调用它的状态,用户就可以参考数据的冷热度报告,结合人工分析,对冷热度不同的数据做分层存储,以便更好地利用HDFS资源,或者评估是否对失去价值的这部分数据做下线处理,以节省数据存储空间。
主数据管理(Master Data Management,MDM)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。主数据管理的主要内容包括如下几项。
主数据管理通过对主数据值进行控制,使得企业可以跨系统使用一致的和共享的主数据,提供来自权威数据源的协调一致的高质量主数据,降低成本和复杂度,从而支撑跨部门、跨系统数据融合应用。
.数据质量管理的目标:数据质量管理主要用来解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。在关系型数据库时代,做数据治理最主要的目的是提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范围扩大了,开始注重数据的服务和共享,注重数据价值的运营,但是提升数据的质量依然是数据治理最重要的目标之一。
2.数据质量问题产生的根源做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有很多方面,比如技术、管理、流程等。造成质量问题的原因通常很复杂,比如企业的信息系统一般是由外部的供应商承建的,在建设过程中,这些系统使用当时条件下不同的标准生产和使用数据,甚至没有标准,只有当时的IT人员自己的“标准”。这就导致系统间存在大量的重复数据、脏数据、不同口径的数据。
这些数据质量问题产生的原因,从本质上来说,还是管理不善,技术和流程只是其表象。所以,要解决数据质量问题,也就不能只从技术角度来考虑,奢望通过购买某个工具就能解决,还是要从业务、管理、技术等多方面入手。从多个角度思考问题,整合资源,解决数据质量问题,重要的是建立一套科学可行的数据质量评估标准和管理流程。
3.数据质量评估的标准
当谈到数据质量管理的时候,必须有一个数据质量评估的标准,有了这
个标准,才能知道如何评估数据的质量,才能将数据质量量化,并知道
改进的方向,以及如何评估改进后的效果。
目前业内认可的数据质量标准有如下几类。
以上数据质量标准只是一些通用的规则,还可以根据客户数据的实际情况和业务要求对其进行扩展,如进行交叉表数据质量校验等。
4.数据质量管理的流程
《数据资产管理实践白皮书4.0》中对数据安全管理的主要观点和思想如下:
数据安全管理是指对数据设定安全等级,按照相应国家/组织相关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,以保障企业和个人的数据安全。
1.数据资产地图
数据资产地图为用户提供多层次、多视角的数据资产图形化呈现形式。数据资产地图让用户用最直观的方式,掌握数据资产的概况,如数据总量、每日数据增量、数据资产质量的整体状况、数据资产的分类情况、数据资产的分布情况、数据资产的冷热度排名、各个业务域及系统之间的数据流动关系等。
2.数据资产目录
数据资产目录通过对数据资产良好地组织,为用户带来直观的体验,可以使用户花较少的时间查找到自己关心的数据资产。
数据资产目录的组织方式灵活多样,常见的有按业务域组织、按数据来源组织、按数据类型组织。
根据用户角色的不同,数据资产目录有多种展现视角,概括来讲,有3类用户角色:数据资产开发者、数据资产管理者和数据资产使用者。
3.数据资产检索
数据资产检索服务为用户提供了一键式的资产检索服务,通过对关键字的匹配,数据资产门户检索出相关的数据资产集,用户可以根据需要找到相关的数据资产,可以查看数据资产的名称、创建者、业务语义、加工过程等详情,帮助自己理解和使用数据。
大部分组织的数据现状都是先污染、后治理,所以,数据资产管理是一个需要经常“翻旧账”的作。而随着数据源源不断地产生,由于业务变化的需要,数据资产管理又是一项需要长期进行的系统工程。数据资产
管理牵涉到的业务部门众多,利益复杂,系统庞杂,通常需要面对各种数据源情况,具有相当大的难度。要保障数据资产管理工作顺利推行,取得成效,需要建立一个强有力的组织,制定清晰可行的数据战略,培养重视数据的企业文化,制定合理的制度和工作流程,建立统一的标准与规范,使用成熟的软件系统,进行科学的现场实施。
(1)强有力的组织架构
强有力的组织架构是数据资产管理取得成功的有力保证。在开展数据资产管理工作之前,对于组织及其责任分工做出规划是非常必要的。数据
资产管理涉及的范围很广,牵涉到不同的业务部门和信息部门,是一件
全局大事。如何成立和成立什么样的组织,应该依据企业本身的发展战
略和目标来确定,但通常来说,这个组织架构需要高层领导牵头,涵盖
业务部门和信息部门。结合企业自身的管理架构,本着专人专事的原
则,完整的数据资产管理组织架构中通常需要有如下角色:领导决策
层、业务部门主管角色、IT部门主管角色、执行项目经理、执行团队
等。在具体的执行岗位上,需要有专人从事专门的工作,如设立数据质
量管理人员、数据标准管理人员、元数据管理人员、数据安全管理人员
等专门的岗位。
提倡由懂业务、懂数据、懂技术的专职人员来承担数据资产管理的核心
工作,在专职人员无法到位的情况下,也可暂时由各部门抽调兼职人员
来组成一个临时组织,但要想让工作顺利推进下去,必须对组织的相关
人员进行充分授权。
(2)清晰的数据战略
数据战略是指导数据资产管理的最高原则。数据资产管理是否与企业发
展战略相吻合也是衡量数据资产管理体系是否成熟、是否成功的重要标
准。企业高层和数据资产管理的牵头部门要在企业发展战略框架下,建
立数据资产管理的战略文化,包括企业高层领导对数据资产管理的重视
程度、所能提供的资源、重大问题的协调能力、未来的目标和发展规划
等一系列措施。
(3)重视数据的企业文化
大数据时代的到来带来了很多跨越式发展的机遇,但如果没有大数据意
识、大数据思维,没有形成大数据文化,那么就很难抓住这种机遇,实
现跨越式发展。所以,要把“大数据”这个科技符号变成“大数据文化”,
即政府的文化、社会的文化、企业的文化和大众的文化。以企业为例,
企业的管理者应该重视数据的战略价值,逐步引导并培养一种“数据即
资产”的价值观,倡导“基于数据做决策,基于数据做创新”的企业行为
规范。当全员认识到有价值的数据是一种宝贵的资产后,它就可以发挥
业务价值,进而流通、交易、合作,最终变现,并将深刻影响企业的业
务模式,甚至重构其文化和组织。
(4)合理的制度与流程
制度与流程是数据资产管理过程中落地认责制度的有效保障。应该由数
据管理人员和协调人员共同制定数据资产管理制度流程。常见的制度包
括但不限于:
·数据需求管理办法
·数据模型管理办法
·数据标准管理办法
·元数据管理办法
·数据质量管理办法
·数据共享管理办法
·数据安全管理办法
·数据生命周期管理办法
(5)标准与规范
制定数据标准是开展数据资产管理的前提和基础。通常情况下,企业进
行数据资产管理都是从梳理和建立数据标准开始的。举例来说,做数据
质量检查时参考的规则通常来自于数据标准,做数据清洗时参考的清洗
规则通常也来自于数据标准。
制定标准,不应一味地追求全面和严苛,而是要参考企业当前数据的实际情况,合理地制定可落地的标准。同时,标准并不是一成不变的,会因为企业的管理要求和业务的变化而变化。标准和规范都要及时更新,以跟上变化形势。
(6)成熟的软件平台
数据资产管理工作要取得成功,离不开成熟的软件平台支撑,如数据质量管理系统、元数据管理系统、数据标准管理系统、数据安全管控平台、数据资产中心等。它们是数据资产管理工作能够顺利开展的技术和工具保障,能够大大降低数据资产管理工作的门槛,提升工作效率,减少人工投入的工作量,更有利于标准化的实施,有利于持续开展数据资产管理工作。建议选用国内外有实力的数据资产管理厂商的成熟软件平
台,保障数据资产管理工作的顺利开展。
(7)科学的项目实施
数据资产管理并不是一次性的项目工作,而是需要长期持续不断地改进。这一点是它与一般项目的不同之处。
在开展数据资产管理项目工作的时候,不仅要考虑到项目管理的范围边界、实施周期、人力成本、质量交付等重要因素,同时也要充分考虑到项目的长期性,在建立起数据战略、组织架构、制度流程、标准规范、软件平台的基础上,仔细考虑如何合理配置资源,让数据资产管理工作不间断地进行。
通常来说,面对复杂多变的信息系统现状和数据现状,数据资产管理工作不宜立即全面铺开,而是需要整体规划,分步实施,突出重点,逐步推广。可以从业务最关心数据、最重要的数据入手,取得一定的成果后,再推广到更大的范围中。
数据资产管理在数据中台中的角色类似于一个大管家,掌控着数据中台中最有价值的那部分资产。而数据资产的管理能力决定了一个企业能否完成数字化转型。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。