数据治理的时代演变之道：大数据分析与机器学习落地应用的未来_数据治理发展历程

本篇概要：

数据治理经历的时代演变，数据治理各时代演变的历程，合理化推想数据治理的未来

数据治理经历的时代演变

随着第四次工业革命的来临，数字化生产已经成为普遍的商业模式，全球各行各业都在积极探索和开展数字化建设，期望通过数字化技术来支撑业务的长期、持续增长。企业进行数字化转型，要先抓住数据治理这个”牛鼻子“。那么问题来了：数据治理领域有没有代际之分，它可以被划分为哪几个时代？

通信领域里G是指Generation，1G、2G、3G、4G、5G网络分别指：第一、二、三、四、五代移动通信系统，从1G到5G，代表了通信领域技术的飞速发展。数据治理领域的5G能否像通信领域的发展那样激动人心，至此未有终论。

数据治理各时代演变的历程

业务烟囱时代

在信息化时代初期，企业为了满足业务信息化的需求，于各部门建立了很多相对独立的业务系统，典型的特点是形成了“一类业务、一个系统、一个数据库”的封闭式架构。这类模式有些像烟囱，大家知道烟囱间是不会互通的，这就导致了业务壁垒的出现，带来的直接问题就是“数据孤岛”。

企业的业务本身天然是连续的，不会因为部门墙的存在而消失，跨业务的需求难以得到满足，跨业务活动的效率并没有随着信息化的发展而提升。这些问题限制了运营效率的提升和效益的改进，企业迫切需要改变这种状况，于是数据中心的理念浮出水面。

数据中心时代

存量的“烟囱”遍布各个业务但又支撑着海量的交易和分析，数据被“私有化”为各个业务部门的“资产”。数据中心的建设应运而生，建机房、买硬件、装软件，大家期待着数据中心能够解决长期以来困扰企业的业务烟囱问题。

数据中心的初衷是把所有的数据汇集在一起，实现数据的互联互通，达到共享的目的。企业通过ETL工具(ETL工具本身就是从手工代码E-T-L中发展出来的，主要是用于提高工作效率)把各个业务系统的数据抽到数据中心的服务器上，将数据汇集在一起，以期实现“数据实时可视、海量业务自动、算法支撑决策”。

这个想法是很好的，但也存在一些天然的缺陷。大家觉得跨业务数据不能互联互通是因为数据在部门内部形成闭环，仅仅想着把数据放到数据中心，让有权限的任何人都能为他们所用，以兹解决数据壁垒这一矛盾是行不通的。主要原因是，抽过来的数据还是原来那些数据，这些数据在产生前的设计过程中，根本就没有考虑其他业务的使用需求，哪怕把它们放在数据中心，其他人也不一定用的了。

大家可能会好奇，什么数据就算拿来了，别人也用不了呢？比如，企业的一个设备，营销部门和检修部门都在管理，营销部门更侧重设备所服务的客户体验，检修部门更侧重这台设备的运维检修状态。如果检修部门有一天想停电检修某台设备，需要让营销部门通知对应服务的客户。检修部门将这台设备的名称和编码提供给营销部门，结果营销部门对应这个数据在自己的系统中根本查不到这个设备。因为两个部门对每台服务客户的设备数据施行独立管理，名称和编码在各自独立体系中并不相通。这种情况下，就是上文提及的即使将数据统一汇总到数据中台，也无法实现数据能在企业内顺畅流动起来，为企业带来巨大的价值。逐渐地，人们对数据中心也失去了信心，属于数据治理的下一个时代正悄然到来。

标准治理时代

如何制定统一的标准数据，增进数据在企业内的流通效率且能拿来即用，这成为了标准治理时代最重要的命题。统一设计顶层数据标准，再通过各种管理手段将标准落地，已经成为标准治理时代数据管理界的基本共识，可这一过程的实践与优化也是困难重重。

企业在想到做数据治理的时候，该拿多年积累下来的存量系统和大量历史数据怎么办？由于信息化过程中企业搭建了各种各样的系统应用，而这些系统应用都高度依赖对应的数据，如果这些数据按照新的统一标准进行改造，很有可能会影响现有系统的正常使用。

如何通过建立新老环境融合的双模架构，把企业的新老数据和应用与正在及未来将要产生的数据连接在一起，构建统一的数据与应用平台，并与机器学习、人工智能等技术手段相结合，使数据产生更大的价值。不至于在改造过程中承担因数据处理不当产生的风险，这导致标准落地的难度陡增，标准和执行出现断层。

融合治理时代

大家须牢记做数据治理的初衷，即为解决数据不统一带来的业务问题。标准统一实际上是动态管理的过程，当前亟须解决如何应对历史业务问题，融合治理时代应需求而生。

融合治理的核心是在统一标准前先接受各个专业既有的数据情况，通过业务专家对跨业务的数据进行人工的融合映射，以先解决跨业务场景的问题为优先。当跨业务场景的问题被解决后，数据治理的价值得到认可，企业高层以此更有信心来支持实现最终标准统一化的目标。

智能治理时代

企业需意识到，只要业务在运转，数据就会持续增加，数据污染也会持续累积。人工数据治理虽然能在一定程度上解决数据污染的问题，但治理的速度远远赶不上数据污染的速度。人们逐渐意识到，可以利用当下大热的人工智能技术来解决数据治理中的复杂问题，让机器学习算法来训练数据治理模型。于是，智能算法作用于数据治理的时代一步步向我们走来。

近年来，头部企业倚赖智能增强型数据治理取得了不错的成绩。这些信号表明智能治理已经逐渐获得大众的认可，未来随着越来越多的企业加入探索的行列，数据治理的效率将会持续提升，数据污染的扩散态势将得到有效遏制。

合理化推想数据治理的未来

深耕大数据领域的人，不免发出同样的疑问：数据治理的本质到底是什么，它未来会发展成为什么样子？

如果把数据想象成一张网，它很像我们人类大脑的记忆网络，承载了现实世界运转的蛛丝马迹。人类接触新的事物、学习新的知识，不用专门去做所谓“治理”工作，仿佛假以时日即可熟能生巧，习得的技艺就能为己所用。在未来，企业的数据治理能否实现像人脑一样具备全自动治理的能力，让机器自发整理获得新数据、新信息、新知识与新智慧，真正打造属于企业自己的数字大脑。在这个美好愿景的鼓舞之下，数据治理的未来值得期待。

聚焦企业数字化转型实践，解析Tempo产品、解决方案和应用能力，一起探索后疫情时代企业业务提质增效新思路！

美林数据2022数智云论坛即将正式开始，多位行业大咖将围绕企业大数据分析应用需要的业务思路、解决方案、产品能力，以及行业头部企业的大数据应用落地实践案例进行主题分享，欢迎点击链接了解详情。数智云论坛https://meeting.asktempo.com/meetings/MeetingPc/Detail?pf_uid=27656_2091&id=59688&source=2&pf_type=3&channel_id=27148&channel_name=%E5%BE%AE%E4%BF%A1%E5%85%AC%E4%BC%97%E5%8F%B7&tag_id=bbc683545d8cf2b7