11. Hadoop完全分布式配置_格式化hdfs每台都要执行吗

1. 由于之前已经做了伪分布式配置，在做完全分布式配置之前，需要首先删除master主机hadoop安装路径下的tmp和logs文件夹中的文件：
   
2. 重新配置core-site.xml和hdfs-site.xml，以及mapred-site.xml和yarn-site.xml。
   （1）首先编辑core-site.xml
   （2）然后编辑hdfs-site.xml
   注意下图中将secondery namenode配置在master节点了，如果要配置在slave01节点，修改如下：

     <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave01:9868</value>
     </property>
1
2
3
4

（3）编辑mapred-site.xml

（4）编辑yarn-site.xml

3. 修改workers文件
cd /usr/local/hadoop/etc/hadoop
vim workers
文件内容（没有slave03的不要最后一行）：
slave01
slave02
slave03
4. 压缩hadoop安装文件夹，然后分发到slave主机：
cd /usr/local

5. 将master的环境变量配置文件及jdk文件夹传给slave：
（所有下面的scp命令如果被拒绝的话，前加上sudo 空格）

6.拷贝之后，在每个slave主机上利用source命令，是环境变量生效：
source ~/.bashrc
source /etc/profile
7.在slave节点以root账户登录，在各个slave节点解压：（注意需要在hadoop账户的主目录下切换到root账户）
如果解压出问题的话，解压命令修改为：
tar -zxvf /home/hadoop/hadoop.master.tar.gz -C /usr/local

6. 在master节点格式化namenode，只执行一次，以后启动Hadoop时不需要再次格式化。

注意：重复格式化会造成namenode和datanode的clusterID不一致，出现此种情况，需要删除各个节点hadoop下的tmp文件夹和logs文件夹的内容，然后，重新格式化namenode。
9. 分别在master和各个slave节点关闭网络防火墙，不然的话，查看集群时会发现live nodes只有1个：
service iptables start # 临时打开防火墙
service iptables stop # 临时关闭防火墙
service iptables status # 查看防火墙状态

chkconfig iptables on # 打开防火墙开机自启
chkconfig iptables off # 关闭防火墙开机自启
chkconfig --list iptables # 查看防火墙开机自启状态

10. 格式化完成后，在master节点启动Hadoop和Yarn（slave主机不用执行）。
    注意下图中启动hitoryserver的命令已经修改为mapred --daemon start historyserver
    
11. 通过jps命令查看各个节点的进程：
    
    如果有个别进程没有启动，可以在相应主机上单独启动守护进程，例如通过hdfs --daemon start datanode启动数据节点。
12. 在master节点通过hdfs dfsadmin –report命令可以查看集群状态，其中，Live datanodes (4)表明集群启动成功。（如果Live datanodes (1)，则需要关闭slave主机的防火墙）
13. 还可以通过web界面查看集群状态，在linux浏览器输入http://master:9870/
    
    
    
14. 最后，关闭Hadoop集群，在master节点执行如下命令：
    关闭hitoryserver的命令已经修改为mapred --daemon stop historyserver