15张架构图，详解数据中台建设框架！

《DAMA数据管理知识体系指南》对企业的数据管理成熟度定义了6个层级，分别为：0级-无能力、1级-初始或临时级、2级-可重复级、3级-已定义级、4级-已管理级、5级-优化级，级别越高数据管理越成熟。对于前期缺少数据管理经验的企业，在无数据专家或数据顾问公司支撑的情况下，容易导致以下的问题：

一、数据架构规划未能长期有效支撑业务发展

对企业数据架构缺少系统性梳理与思考，没有规划未来长期有效的业务发展，只考虑当前业务提数需求急于建设，会使系统变的越来越复杂和扩展性困难。

二、数据管理缺乏统一标准

企业内部建设的多个业务系统（如ERP、CRM、OA等系统）由不同厂商负责建设，对企业的数据实体定义、数据模型定义、字段定义等均有不同的标准，在数据治理过程当中缺少有效梳理，容易导致跨系统融合查询分析时常常遇到数据不统一的问题。

三、海量数据带来的高时延

在海量数据的背景下，导致数据采集加工清洗存在高时延和性能障碍，无法及时出数。面向业务的BI系统OLAP查询数据仓库的数据应用层的数据时，由于数据量过大，且分析库的选型性能限制，导致数据查询时延高，无法满足快速的业务需求。

四、海量数据的价值挖掘不足

数据是企业数字化转型的一个重要支撑点，多个业务系统沉淀的海量数据中蕴藏了巨大的价值，这些数据的背后体现了企业业务经营过程中的潜在规律。因此，做好数据挖掘，就是对企业经营的深刻复盘，就能够对企业发展起到良性的反馈与推送作用。

五、缺少业务适应的数据分析应用

业务人员想要临时获取数据往往需要技术人员的协助，向技术人员描述业务需求，由技术人员通过一系列操作获取到所需数据。存在以下痛点无法满足：

（1）分析效率低：针对业务提出的分析都需要等待技术排期，无法满足日益增长的业务所需的时效性要求；

（2）业务人员无法自助取数：数据库的表及关联关系等相关技术问题，分析过程较技术化，对业务人员不友好，业务人员无法直接参与，需要技术人员通过多次编写SQL去取数。

基于DataOps体系，覆盖中台建设事前的咨询规划，事中的开发设计与交付，事后的持续运维和价值运营，保证平台工具和数据中台数据体系的高度协同，并且通过资产运营规范，实现企业数据资产和行业数据资产的持续沉淀和演进。

WhaleDI

数据中台建设规范

中台模式开启数据要素运营新时代

01 

咨询规划

规划咨询主要用于指导数据中台建设规划阶段现状调研和顶层设计，主要包括数据中台规划咨询方法论、以及规划咨询分阶段执行的关键动作和输入输出模板等内容。其中咨询方法论对规划咨询工作开展进行总体介绍；各执行阶段对调研对象、调研提纲和交付物模板进行定义，提供常用行业项目输出示例，整体提升数据中台规划咨询的效率和质量。

02

技术选型

数据中台技术及组件选型方法，涵盖数据底座、数智平台和数智引擎，为数据中台售前/交付过程中涉及到的技术选型提供参考，提升技术架构标准化水平和输出效率。

03

成熟度评估

提供标准、专业的数据管理能力成熟度评估服务，从服务流程、服务标准、服务模型工具方面进行规范化约束，保障数据中台成熟度评估工作的高效和专业性。

成熟度评估服务的客户主要包括运营商、交通、能源等行业用户，侧重数据中台建设运营能力评估，不包括自身及其他数据服务提供商服务能力的成熟度评估，范畴为甲方数据中台规划、数据中台能力提升、数据中台能力审计等咨询服务环节的前评估和后评价。

04

交付规范

帮助企业建立规范的交付体系，提高企业整体的交付水平，从而达到规范员工交付行为、增强员工安全意识、提升客户交付感知，以及确保客户数据资产安全。本规范主要适用于业务合同类项目交付工作，适合项目的相关交付人员与其他对本规范感兴趣的人员阅读。

05

需求规范

需求管理规范，需要明确需求管理流程，并对每个相关部门所应有的责任与权利进行界定，同时要建立有效的监管措施，使流程中的每个环节都能发挥有效作用。

需求管理不是项目前期的一个环节，而是贯穿整个项目的关键流程。在具体进行需求管理时，应该着重注意明确职责避免缺位、需求应分层沟通和确认、分步实施和先易后难的原则。

06

架构设计

数据中台建设的数据架构设计，所有参与数据中台建设的数据架构师、数据建模师都需要熟悉规范约定，并落实到位。

参与运营商项目和数据智能垂直交付的数据中台项目本规范必须严格遵照执行,必须严格使用开发工具，屏蔽传统的后台命令行脚本开发方式。不带开发工具产品的数据中台项目开发工具部分可选。

07

开发规范

对数据中台的线上开发流程和规范进行约束，规范数据开发实施团队的数据开发工作，保障程序质量、提升开发效率、保证数据开发的延续性、可读性和易维护性。

08

数据接入

数据接入包括按照数据标准和数据模型，将分散在各个业务源系统的数据抽取、转换、加载至数据平台的过程。

数据接入方案实施是指基于数据分布关系、数据类型、数据系统等要素，结合业务对于数据格式、数据时效性等方面的需求，选择适当的数据汇聚工具，制定数据汇聚与迁移方案，将数据模型、元数据、原始数据等内容进行统一抽取、转换并存储至目标数据平台。数据汇聚方案应包括但不限于：目标系统参数，数据汇聚范围，数据传输工具，数据传输周期等内容。

09

共享开放

规范大数据平台数据资源的发布、访问和输出管理，提高数据利用效率，保障数据输出质量和安全，特制定本规范。本规范适用于业务人员、IT用户、外部客户使用大数据平台数据的全流程业务管理和工作执行。

10

质量规范

质量规范，通过获取、分析、评估数据仓库中的数据质量问题，保证数据质量的稳定可靠，构建数据质量内部控制的管理体系，利用数据质量监控模块进一步提升数据质量管理子系统对数据中台的支撑能力。

数据质量管理规范的总体制定思路是从标准、职责、流程、三个层面统筹规划，按照数据分层标准、数据重要性分类标准，配置各场景下的稽核规则，指导相关人员进行数据质量管理工作。

11

数据运维

数据中台的数据架构设计、开发、治理和运营的原则，对于数据治理工作中数据运维的工作内容进行系统性的阐述，为后续数据运维实施团队提供规范性指导。本规范主要用于数据中台在数据治理过程中的数据运维，所有参与数据中台建设的数据模型师、ETL开发工程师、数据运维人员都需要熟悉规范约定，并落实到位。

12

安全规范

数据中台的数据架构设计、开发、治理和运营的原则，对于数据治理工作中数据安全的工作内容进行系统性的阐述，为后续数据安全实施团队提供规范性指导。数据中台在数据治理过程中的数据安全管理，所有参与数据中台建设的安全管理员、平台运维人员都需要熟悉规范约定，并落实到位。

13

数据运营

数据运营是指通过多维度的数据策略，最大化提升“用户价值、业务价值、产品价值”的过程，主要内容包括数据工具设计、数据策略设计、数据体系的设计等，通过提供用户与内容、用户与产品、产品与内容之间最优连接路径，形成用户体验闭环，达到整体数据价值的提升目的。

14

资产治理

数据是资产的概念已经成为行业共识。然而现实中，对数据资产治理还处于摸索阶段，面临诸多挑战。

首先，大部分企业和政府部门的数据基础还很薄弱，存在数据标准混乱、数据质量差、系统间数据孤岛化严重等现象，阻碍了数据的共享应用。其次，受限于数据规模和数据源种类的丰富程度，多数企业的数据应用刚刚起步，应用深度不够，应用空间亟待开拓。再次，由于数据的价值很难评估，企业难以对数据的成本以及其对业务的贡献进行评估，从而难以像运营有形资产一样管理数据资产。

企业构建一套数据中台体系，需要有成熟的数据中台建设方法论为指导。初涉企业根据方法论按部就班就可能完成企业的数据中台建设，成熟的企业也可以基于方法论，查漏补缺，完善数据中台建设。

【END】