1. hadoop的概念及其发展历程
Hadoop是Apache开源组织的一个分布式计算开源框架，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计：HDFS和MapReduce，HDFS实现存储，MapReduce实现原理分析处理。数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Hadoop的集群处理后得到结果，它是一个高性能处理海量数据集的工具。
Hadoop干什么：适合大数据的分布式存储与计算平台。
2. HDFS和MapReduce的体系结构
HDFS：hadoop distributed file system,hadooop分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集的应用程序。
HDFS体系结构：
主从结构：主节点只有一个：namenode;从节点，有多个，datanodes。
Namenode负责：接收用户操作请求；维护文件系统的目录机构；管理文件与block之间的关系，block与datanode之间关系。
Datanode负责：存储文件；文件被分成block存储在磁盘上；为保证数据安全，文件会有多个副本。
MapReduce文件系统：它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce将分为两个部分：Map（映射）和Reduce（归约）。
当你向mapreduce框架提交一个计算作业，它会首先把计算作业分成若干个map任务，然后分配到不同的节点上去执行，每一个map任务处理输入数据中的一部分，当map任务完成后，它会生成一些中间文件，这些中间文件将会作为reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个map的数据汇总到一起并输出。
MapReduce的体系结构：
主从结构：主节点，只有一个：JobTracker；从节点，有很多个：Task Trackers
JobTracker负责：接收客户提交的计算任务；把计算任务分给Task Trackers执行；监控Task Tracker的执行情况；
Task Trackers负责：执行JobTracker分配的计算任务。
3. Hadoop的特点和集群特点
Hadoop集群的物理分布：
单节点物理结构：
Hadoop的特点：
1、扩容能力：能可靠地存储和处理千兆字节数据
2、成本低：可以通过普通机器组成的服务器群来分发以及处理数据。
3、高效率：通过分发数据，hadoop可以在数据所在的节点上并行地处理它们，这使得处理非常的快速。
4、可靠性：hadoop能自动维护数据的多份副本，并且在任务失败后能自动地重新部署计算任务。
