指数级数据增长的破局之道？“AI治数”的新玩法你不能不知道_复杂数据成指数级

作者 ：Awez Syed

Informatica产品管理高级副总裁

▼▼▼

“我一直很喜欢一个与国际象棋发明者有关的故事。国际象棋的发明者发明了国际象棋这个非常吸引人的游戏，于是他向国王请求奖赏。虽然最终奖赏的是谷粒，但国际象棋发明人希望用一种独特的方式来计算他应得的谷粒数量：在棋盘的第一个正方形空格中放入一粒米，在第二个正方形空格中放入两粒米，每次放入的米粒数均为上一次的两倍，直到64个正方形空格被填满。但还没等到计算完填满棋盘一半空格所需的谷粒数量，国王感到“智商被碾压”恼羞成怒，把这位发明人斩首了。但其实这个故事是一堂很好的关于几何级数的教育课。”

 

 

也许上面的故事不是很恰当，但今天我们正面临着同样的数据指数级增长的情况。据估计，每过12-18个月，可访问的数据量就会翻倍，而同期云端的数据量将以10倍的速度增长。所有数据都需要被处理，使它们变得可用、可信、合乎相关法规。但在这些要求之外，还需要使数据能够快速移动，并对业务战略和过程的变化做出响应。数字化转型计划所涉及的数据准备工作的复杂性也随着数据量的增长而同步提高。

▲▲▲

 

不要采用线性方法应对指数级挑战

我们不能采用对项目持续投入更多工程师、开发人员等传统方法去应对这些数据挑战，这些传统方法效率十分低下，而这些数据挑战这也不是采用线性的、加大人力资源投入的方法就可以解决的。目前很多项目都是在筒仓中实现的，端到端元数据的可视性很低，自动化功能也非常有限。由于筒仓没有学习能力，数据治理和隐私保护措施步骤重复了一遍又一遍，处理成本很高。针对这种情况，机构采取的行动如何才能跟上业务发展速度呢？机构如何才能为自己赋能，以更好地为客户服务、提高运营效率和快速实现创新呢？

 

这正是人工智能的用武之地。人工智能可以实现数据管理相关任务的自动化，并对任务进行简化——涵盖数据发现、集成、清洗、治理和管控。机器学习方法可以学习现实中的重复性任务并代替人工进行处理，从而将开发人员和用户从繁重的事务中解放出来，使其投身于更有价值和创新性的项目中。人工智能提高了理解数据的能力，并可识别出数据隐私和质量异常情况。人工智能是开发人员、分析人员、数据管理人员和业务用户出色的合作伙伴，通过推荐功能和最佳后续行动建议功能所具有的自动化和增强化手段，加快了任务处理速度。

 

如果您想加快整个数据环境的端到端处理进程，那么，人工智能是最有效的方式。这正是我们考虑在数据管理领域将人工智能作为系统思维方法的重要组成部分的原因，只有具备了系统思维方法，才能构建数据驱动式转型的整体框架。只要您开始实施这个框架，效果立竿见影 。

 

人工智能之于数据管理的四大益处

一般来说，人工智能主要通过四种途径为数据管理团队带来益处：提升数据专业人员的生产率、提高运营效率、提供具备更强智能化引导功能的数据体验和更深刻的数据理解力，加速数据治理过程。

 

 

人工智能赋能数据管理的具体表现如下：

 

● 生产率

数据集成推荐系统可以帮助数据工程师快速建立映射，以对数据进行提取、转换及交付。推荐系统会从现有的映射中学习，理解数据库和文件系统的业务内容，并在向目标系统和数据消费者交付数据之前，针对数据标准化和数据清洗工作提出适当的数据转换建议。

 

● 效率

在一家典型的企业中，每天需要运行数千个数据集成过程。如果只是利用管理工具记录这些过程耗费的时间、CPU和内存，就显得太被动了。人工智能可以从历史数值中挖掘出有用的知识，这些数据存储在日志和监测文件中，人工智能还能主动标记出异常数值，并预测出未来可能存在的问题。

 

● 数据体验

如果某个现实世界的实体（例如患者记录或销售订单）存储于一个数据库或某套文件中，它的数据会被分散到多个表或文件里，这是为了便于存储或提高性能而做出的优化。人工智能可以迅速探测出数据之间的关系，并对最初的实体进行复原。用户不需要根据主键/外键关系记忆和查找这些过期的文档，也不需要手工加入不同的数据集。此外，人工智能还能识别出相似的数据集，并根据使用模式、数据质量和众包协作方式，提供相应的建议。

 

● 数据治理

在数据治理中，一个常见但繁琐的步骤是将业务术语和物理数据元素关联起来，从而建立起业务背景以及数据元素的相关性，使用户可以理解这些数据。在很多场景中，人工智能可以利用自然语言处理（NLP）技术和业务类型识别功能，将业务术语自动链接到物理数据，因而大幅提高工作效率，并降低数据出错率。

 

 

Informatica针对人工智能应用和机器学习技术推动数据管理提供了多种解决方案，以上只是其中的几个例子。和那位国王不同，我们应该感谢那位国际象棋发明者，为我们开启了一个解决指数级数据的一个“新玩法”——利用人工智能，我们可以更好地应对和处理爆发式增长及日益复杂的数据，全面释放数据的颠覆性力量，加快数字化转型。

 

想了解更多相信信息，请关注Informatica数据管理（微信号：InformaticaChina）