Hadoop八股_hadoop必背八股文

1、分布式与集群的共同点与区别？
共同的：分布式和集群都是多台机器
区别：分布式每个服务器上的系统都是不一样的，但是集群是一致的（百度主页）
2、负载均衡是什么？
1把负载（工作任务）进行平衡、分摊到多个操作单元上进行运行
2解决单个无法处理所有任务，多个一起处理的问题
3、故障转移是什么？
单点故障是一个服务器出问题
1活动服务或应用意外终止，快速启用冗余或备用的服务器、系统、硬件或者网络接替他们工作
2又称为容错系统，指的是可以容忍错误的发生
3核心是设置备份，出现故障主备切换
4前提是数据状态保持一致
4、伸缩性是什么？
1弹性，可扩展性
2系统可以根据需求动态的扩容、缩容（例如双十一）
5、Hadoop核心组件
HDFS（分布式文件存储系统）解决海量数据存储
YARN（集群资源管理和任务调度框架）解决资源任务调度
MapReduce（分布式计算框架）解决海量数据计算

6、Hadoop特性优点
扩容能力强：在可用的计算机集群间分配数据并完成计算任务，这些集群可以方便的扩展到数以千计的节点中
成本低：通过普通廉价的机器组成服务器集群来分发以及处理数据，所以成本很低
效率高：并发数据，可以在节点之间动态并行的移动数据
可靠性强：能自动维护数据的多份复制，并且任务失败之后可以自动重新部署计算任务
7、Hadoop集群简介
逻辑上分离
两个集群互相之间没有依赖、互不影响
物理上在一起
某些角色进行往往部署在同一台物理服务器上
MapReduce集群呢？
MapReduce是计算框架、代码层面的组件，没有集群之说
8、Hadoop部署模式
Standalone mode单机模式
1个机器运行1个java进程，所有角色在一个进程中运行，主要用于调试
Pseudo-Distributed mode伪分布式
一个机器运行多个进程，每个角色一个进程，主要用于调试
Cluster mode
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。
HA mode
在集群模式的基础上为单点故障备份角色，形成主备架构，实现容错。
9、企业存储系统
存储架构（存储类型）
DAS存储架构
DAS存储架构也称为直连式存储（Direct-Attached Storage），存储设备是通过电缆（通常是SCSI接口电缆）直接挂到服务器总线上。DAS比较依赖操作系统来进行IO操作。
NAS网络接入存储
NAS也成为网络接入存储（Network-Attached Storage），存储设备通过标准的网络拓扑结构（例如以太网）连接采用NAS较多的功能是用来文档共相、图片共享、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。
SAN存储区域网络存储
SAN（Storage Area Network）是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网（LAN）。SAN将主机和存储设备连接在一起，能够为其上的任意一台主机和任意一台存储设备提供专用的通信通道。SAN将存储设备从服务器独立出来，实现了服务器层次上的存储资源共享。

10、HDFS重要特性–
主从架构
采用master/slave架构。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。
分块存储机制
默认大小是128M.
namespace

1. HDFS支持传统的层次性文件组织结构。用户可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。
2. Namespace负责维护文件系统的namespace名称空间，任何对文件系统名称或属性的修改都将被Namenode记录下来。
3. HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件。

元数据管理
具有两种类型：
文件自身属性信息：
文件名称、权限，修改时间，文件大小，复制因子，数据块大小
文件快位置映射信息
记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上
数据块存储
文件的各个block的具体存储管理由DataNode节点承担。每一个block都可以在多个DataNode上存储。