大数据技术的历程_大数据技术 发展历程

在大数据时代，传统的软件已经无法处理和挖掘大量数据中的信息。最重要的变革着就是谷歌的“三架马车”。

谷歌在 2004 年左右相继发布谷歌分布式文件系统 GFS、
大数据分布式计算框架 MapReduce 、
大数据 Nosql 数据库 BigTable ，
这三篇论文奠定了大数据技术的基石。
1
2
3
4

变革总是像谷歌那样的大公司主导的，在当时大部分公司还在致力于提高单机性能时，谷歌已经开始设想把数据存储、
计算分给大量的廉价计算机去执行。
1
2

受 Google 的论文启发，
2004 年 7 月，Doug Cutting 和 Mike Cafarella 在 Nutch 中实现了类似 GFS 的功能，
即后来 HDFS 的前身。
后来 2005 年 2 月，Mike Cafarella 在 Nutch 中实现了 MapReduce 的最初版本。
到 2006 年 Hadoop 从 Nutch 中分离出来并启动独立项目。
1
2
3
4
5

Hadoop 的开源推动了后来大数据产业的蓬勃发展，带了了一场深刻的技术革命。

接下来，大数据相关技术不断发展，开源的做法让大数据生态逐渐形成。
由于 MapReduce 编程繁琐，Facebook 贡献 Hive，sql 语法为数据分析、数据挖掘提供巨大帮助。
1
2

第一个运营 Hadoop 的商业化公司 Cloudera 也在 2008 年成立。

由于内存硬件已经突破成本限制，2014 年 Spark 逐渐替代 Mapreduce 的地位，受到业界追捧。
Spark 在内存内运行程序的运算速度能做到比 Hadoop MapReduce 的运算速度快 100 倍，并且其运行方式适合机器学习任务。

Spark 在 2009 年诞生于 UC Berkeley AMPLab， 2010 年开源，2013 年贡献到 Apache 基金会。

Spark 和 MapReduce 都专注于离线计算，通常时间是几十分钟甚至更长时间，为批处理程序。
1
2
3
4
5
6

由于实时计算的需求，流式计算引擎开始出现，包括 Storm、Flink、Spark Streaming。

大数据存储和处理技术的发展同时也带动了数据分析、机器学习的蓬勃发展，也促使了新兴产业的不断涌现。

大数据技术是基石，人工智能的落地是下一个的风口。身处在互联网行业中，感觉到技术进步很快，
要略去浮躁，把握住变革的到来。
1
2
3
4
5
6