大数据技术的发展趋势

大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。这些技术下一步将如何发展？它们之中哪些技术将广为流行？又会诞生哪些新的技术？

技术趋向多样化，企业应选择接受度高和未来会快速普及的技术

目前，大数据相关的技术和工具非常多，给企业提供了更多的选择。在未来，还会继续出现新的技术和工具，如Hadoop分发、下一代数据仓库等，这也是大数据领域的创新热点。

那么企业到底该选用什么技术呢？

TDWI（数据仓库研究所）对现有的大部分技术和工具进行了调查，以现在及未来三年内企业接受度和增长率两个维度进行划分，这些技术和工具可分成四类（见右图）。

企业最需要关注的是第1类中的技术和工具，它们最有可能成为最佳的实施工具，也代表了大数据技术的发展方向。

基于云的数据分析平台将更趋完善

企业越来越希望能将自己的各类应用程序及基础设施转移到云平台上。就像其他IT系统那样，大数据的分析工具和数据库也将走向云计算。

云计算能为大数据带来哪些变化呢？

首先云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。

其次，云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式，甚至是唯一的方式。

当然，大数据要走向云计算，还有赖于数据通信带宽的提高和云资源池的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。

数据分析集逐步扩大，企业级数据仓库将成为主流，未来还将逐步纳入行业数据、政府公开数据等多来源数据

当人们从大数据分析中尝到甜头以后，数据分析集就会逐步扩大。目前大部分的企业所分析的数据量一般以TB为单位。按照目前数据的发展速度，很快将会进入PB时代。特别是目前在100-500TB和500+TB范围的分析数据集的数量会呈3倍或4倍增长。

随着数据分析集的扩大，以前部门层级的数据集市将不能满足大数据分析的需求，它们将成为企业级数据库（EDW）的一个子集。根据TDWI的调查，如今大概有2/3的用户已经在使用企业级数据仓库，未来这一占比将会更高。传统分析数据库可以正常持续，但是会有一些变化，一方面，数据集市和操作性数据存储（ODS）的数量会减少，另一方面，传统的数据库厂商会提升它们产品的数据容量，细目数据和数据类型，以满足大数据分析的需要。

因此，企业内的数据分析将从部门级过渡到企业级，从面向部门需求转向面向企业需求，从而也必将获得比部门视角更大的益处。

需要指出的是，随着政府和行业数据的开放，更多的外部数据将进入企业级数据仓库，使得数据仓库规模更大，数据的价值也越大。

本文节选自《大数据——大价值、大机遇、大变革(全彩)》

李志刚主编

电子工业出版社出版