当前位置:   article > 正文

大数据学习(一),hadoop的简介和发展历史_hadoop的发展史

hadoop的发展史

hadoop 简介

首先,他是Apache软件基金会旗下的一个开源分布式计算平台,提供了底层透明的分布式基础架构(不用关心他底层是怎么实现的,编代码操作就完事了)

其次,他的开发是基于java语言的,有很好的跨平台特性,并且可以部署在廉价的计算机集群中,我们在编程使用的时候,是不限制语言去操作的

他的核心分为两部分,分布式存储分布式计算。其中HDFS为海量的数据提供了如何去存储,MapReduce为海量的数据提供了计算
在这里插入图片描述
最后,他是一个开源的软件

hadoop 发展

他为啥起名叫hadoop,大佬也说了,就是他孩子为一头吃饱了的棕色大象取得一个名字,是一个玩具名。。。
在这里插入图片描述
一开始,他是Apache Lucene的创始人Doug Cutting开发的一个文本搜索库。但是,在开发的过程中,他遇到了一个棘手的问题,该搜索引擎框架无法扩展到拥有数十亿网页的网络,就是说当数据非常大的时候,就会出现一些问题。
在这里插入图片描述
一年之后,2003年,谷歌公司发布了关于分布式文件系统GFS方面的论文,可以解决大规模数据存储的问题。然后大佬就开始了,在2004年,Nuc

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/428140
推荐阅读
相关标签
  

闽ICP备14008679号