赞
踩
前面我们对数据中台的理论进行分析,下面我们来看一下,数据中台在一些大型企业中的落地方案。
在国内,”中台”的概念是阿里带头喊出来的,所以我们先来看一下阿里的数据中台方案
最底层是计算和存储平台
往上面是垂直数据中心,负责全域数据采集与引入,以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。
再往上面是公共数据中心,按照基础层、公共中间层、应用层的数据分层架构模式,通过数据指标结构化、规范化的方式实现指标口径统一。
再往上面是萃取数据中心,形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。。
再往上面是统一主题式服务,通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。
左侧是数据资产管理:通过资产分析、应用、优化、运营等方面实现降低数据管理成本、追踪数据价值。
最上层的是不同的产品线应用,通过下面的数据中台提供一站式数据服务支撑。
阿里数据中台有三大核心:
OneData(统一数据):定义数据标准与建模标准,对离线数据、实时数据建立数据资产体系。
OneEntity(统一实体):主数据的管理,实现全域产品体系主数据融合。
OneService(统一服务):统一对外提供API与SDK服务。
这就是阿里数据中台的三大核心。其实就是将全域数据统一标准,然后打通,最终统一对外提供数据服务。
整体技术架构,分三层,底层是基础设施,基础平台,中间是中台,上面是前台。
有些同学可能会有困惑“数据中台和大数据平台”的区别是什么?
图中的基础平台就是我们常说的大数据平台,包含了数据的采集、计算、加工等。
数据中台是构建在整个大数据平台之上的,它是围绕数据运营、分析、应用等场景去做的一套解决方案。
数据中台分成两块,一个是数据层,一个是服务层。数据层就是我们前面说的“数仓“,这里边包含菜鸟的所有数据,沉淀的数据资产。
再往上是服务层,这里划分成了几个套件,每个套件都是围绕数据使用的一个场景做的解决方案 。
右侧的东西是数据管理套件,从数据的加工生产到使用,它从全链路的视角把数据给管理起来。
最上层是前台业务。
最底层是数据架构:数据架构体系包含了当前大数据领域主流的技术
再往上面是数据研发,数据中间件,实现数据的采集,计算和数据质量监控。
再往上面是数据资产体系,构建了数据字典和数据图谱,然后通过数据赋能,提供各种自助查询和可视化分析。
最上层是数据服务层,将数据服务化提供给各个产品使用。
最底层是大数据计算存储引擎
上层是数据开发套件,负责加工计算数据,
然后是数据仓库主题域,构建多维度的数据主题,
接下来是数据治理套件,管理数据模型,保证数据质量。
再往上层是数据应用引擎,这里面包含了可视化引擎,数据服务引擎,数据分析引擎和画像引擎,通过这几个引擎对外提供数据服务。
最上层是数据应用层,主要是使用数据的。
华为云数据中台在这里可以划分为三块
第一块是数据建设:其实就是把全域数据采集过来,对数据加工计算,基于各种维度构建数据主题。
第二块是平台建设:这里面抽取出来了一些公共的功能组件,并且提供了数据服务。
第三块是中台消费场景,这里面会有多种场景依靠数据中台提供数据支撑。
浙江移动打造的数据中台,是为了实现跨域数据整合并沉淀公共的数据能力,同时提供丰富的数据模型,标准化的数据服务,个性化的开发平台与工具,满足一线数据开放和智慧运营的要求。
这个数据中台架构中主要包含了三块内容
数据模型、数据服务和数据开发。
数据模型:负责实现数据与数据模型打通。
数据服务:负责封装标准数据服务,对外提供数据查询服务
数据开发:针对各种个性化数据应用开发需求提供技术支持
底层是基础设施和计算层
往上面是数据开发治理模块,里面涉及离线数据开发、实时数据开发和算法开发。
再往上层是数据服务层,这里面会对数据进行体系化,最终对外提供服务。
最上层是业务应用层,这里会通过数据服务提供数据支撑。
这个是某企业的数据大脑总体设计,里面包含了数据中台。
数据大脑主要是为了解决大数据系统建设中数据存储、连通、使用的共性问题,形成业务数据中台,包括数据资源的统一规划,数据整体建模和资产管理,数据标签化计算,形成不同行业的数据体系。
将行业知识库和领域数据相结合,开发各类计算组件,构建统一数据加工平台,对数据进行加工整理支撑行业应用,形成相关领域行业的数据大脑。
这里面的数据中台主要包含以下内容:
到这为止,我们分析了多个企业的数据中台,虽然这些企业的数据中台架构没有完全一样的,但是总结下来我们会发现,他们里面都会有一些共同的核心内容。
数据采集存储、数据加工计算,整合打通各个维度数据,最后对外提供数据服务。
其实精简之后就是我在前面给大家总结的数据中台四字箴言,采存通用。
希望通过我们前面的学习能够然大家对数据中台有一个整体的认识。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。