大数据入门：Hadoop学习基础知识点_hadoop大数据知识点

大数据行业人才紧缺成常态，由此带来的就是大数据行业薪酬的水涨船高，大数据作为一门新兴技术，想要做大数据相关的工作，先得要掌握大数据专业技术才行。作为主流运用的技术框架，Hadoop是重点之一，今天我们来聊聊Hadoop学习必须掌握的知识点。

Hadoop基于分布式集群架构，设计了分布式文件系统HDFS，为海量数据存储和管理提供底层支持。Hadoop具有极高的容错性，通过流式数据访问，来实现高吞吐量的数据访问，这对于大数据时代的海量数据处理而言，无疑是提供了关键性的支持。
 

同样基于分布式集群架构，Hadoop提供了MapReduce程序来进行分布式计算。MapReduce可以拆解为两个阶段：map拆分，对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果；reduce规约，对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。就是这样一个过程，实现了对大规模数据的计算处理。

数据计算完成之后，需要将计算结果进行存储，于是又有了分布式列存数据库HBase。将处理完成的数据结果写入存储，可以使用MapReduce来处理，将数据存储和并行计算完美地结合在一起。

如果需要对数据结果进行统计查询又怎么办呢？这时候就需要用到Hive。Hive在Hadoop框架当中，负责数据汇总和特定查询，通过类SQL的HQL语句，将查询需求转换成MapReduce任务在Hadoop上执行。

由于Hadoop的MapReduce数据处理，主要是针对离线数据处理，对于实时在线数据处理略有局限，所以又有了Spark。Spark也是分布式计算框架，可以基于HDFS进行实时数据计算，常用于实时查询、流处理、迭代算法、复杂操作运算和机器学习等。

基本上来说，Hadoop是核心课程，也是重难点，想要实现对Hadoop技术的全盘掌握，不付出足够的时间精力去钻研是很难的。Hadoop基于大数据处理的各个流程，都有对应的解决方案，所以才能为主流框架。