当前位置:   article > 正文

大数据计算引擎击穿万古长夜

数据计算引擎

构成世界的3个要素是【物质】、【能量】和【信息】
而【信息】要素是到20世纪才正真爆发出来,即:信息时代
进入“信息时代”,信息所占比重越来越大,一切都变的“智慧”起来。

一些新的名词开始出现:无纸化、信息高速公路、虚拟世界等
全世界每时每刻都在产生信息,传递信息,存储信息和消费信息,信息呈指数级开始了【爆炸】

信息本质上就是【数据】,信息爆炸本质上就是数据爆炸,随着数据的爆炸式井喷,人们开始探索“数据治理”的技术,即:如何更好的管理数据

数据的池子——任意遨游,但恨天太低
以mysql、oracle为代表的关系型数据库,本质上就是一个【数据的池子】,无论他们进行了如何“不可思意”的迭代升级,他们能管理的数据规模本质上还是没有跳脱池子的范围;数据量与日剧增,一个池子装不下,就在开一个池子装,如此反复,如万古长夜…

数据的海洋——天高海阔,但望洋兴叹:
每一个“数据库”就是一个数据的池子,不管他是关系型,还是非关系型(非关系本质上只是一个容量更大,取水更快的池子),数据的池子是一个个“孤岛”,无法全部互通也无法同时操作所有的池子。

有没有什么办法,可以将所有的池子汇聚起来(至少是:想汇聚多少就汇聚多少),将池子聚成湖泊,将湖泊聚成海洋后还能快速的从亿万万份水中,舀出我想要的那一瓢水?

创世闪电,开天辟地:
谷歌三架马车【GFS、MapReduce、BigTable】的出现让“畅游数据海洋”成为可能。
GFS解决海量数据的存储问题
MapReduce解决海量数据的计算问题
BigTable解决海量数据的查询问题

用一张图直观的展示这样一个开天辟地的过程:
在这里插入图片描述
正式谷歌三架马车的出现,击穿了万古长夜,开启了基于大数据的智能时代。

随后海的核心也经历了一轮轮的技术迭代:
谷歌三驾马车 -> hadoop -> spark
即:大数据技术生态圈的核心,到目前共经历了3轮更替

讲了那么多,数据的海洋聚焦到现实工程中,到底是个啥东西呢???
其实就是【计算引擎】!!!
而引擎的内核其实就是大数据技术生态圈的核心,即:谷歌三驾马车 、hadoop 、spark
图解:
在这里插入图片描述
说明:
上图共用两个应用,一个【计算引擎】,一个【对接应用】,而【计算引擎】就是数据的海洋;两个应用通过中间件——ES搜索引擎,关联在一起构成一个逻辑整体,从而对外提供最终价值!!!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/凡人多烦事01/article/detail/611917
推荐阅读
相关标签
  

闽ICP备14008679号