高可用hadoop安装教程_hadoop菜鸟教程

高可用hadoop安装教程（菜鸟级安装教程）
1.高可用安装方案
ZooKeeper Failover Controller(ZKFC)：监控NameNode健康状态

2.分发jdk到node02、03、04
（1）先ll一下可以发现node01上有jdk，但是node02、03、04上是没有jdk的，所以我们要分发jdk给node02、03、04（可以先ping一下看是否能互相ping通，能ping通说明能互相发送）

（2）在node01下输入： scp jdk-7u67-linux-x64.rpm node02:pwd
scp jdk-7u67-linux-x64.rpm node03:pwd
scp jdk-7u67-linux-x64.rpm node04:pwd
（注意：`为键盘1左边的符号）
（同时打开四台虚拟机可能会遇到物理内存不足情况，解决方法

（3）在Xshell全部会话框中先cd到家目录，然后ll一下，检查一下node02、03、04的家目录下是不是都有jdk，都有就说明成功了！！！

3.给node02、03、04分别安装jdk
（1）分别在node02、03、04上执行rpm安装命令：
rpm -i jdk-7u67-linux-x64.rpm

（2） 在node01上，先输入cd /etc，然后在此目录下把profile文件分发到node02、03、04上
scp profile node02:pwd
scp profile node03:pwd
scp profile node04:pwd
利用Xshell全部会话栏输入：source /etc/profile（刷新一下）
利用Xshell全部会话栏输入：jps，看02、03、04这三台机子的jdk是否装好，如果都出现了数字＋JPS表示jdk全部装好了！！！

4.同步所有服务器的时间
在Xshell全部会话框中输入：date （查看机子当前的时间,看一下四台机子的时间一不一样，差个5秒没关系)
时间不能差太大，否则集群启动后某些进程跑不起来
若时间不同步，解决方法：
1.yum进行时间同步器的安装
yum -y install ntp
2.执行同步命令
ntpdate time1.aliyun.com 和阿里云服务器时间同步
3.再date一下，看看四台机子同不同步

5.装机之前的配置文件检查
（1）查看四个机子的HOSTNAME是否正确
在Xshell全部会话框中输入：cat /etc/sysconfig/network

（2）查看四个机子的IP映射是否正确
在Xshell全部会话框中输入：cat /etc/hosts

（3）查看四个机子的cat /etc/sysconfig/selinux里是否是 SELINUX=disabled
在Xshell全部会话框中输入：cat /etc/sysconfig/selinux
查看是不是都是SELINUX=disabled

（4）查看四个机子的防火墙是否关闭
在Xshell全部会话框中输入：service iptables status
查看四台机子是不是都关了

6.NN与其他三台机子的免秘钥设置
（1）在家目录下输入： ll –a（查看隐藏文件），看下有无.ssh文件，如果没有就输入：ssh loalhost（注意：ssh localhost后一定要exit！！！）

（2） 在Xshell全部会话框中输入cd .ssh ，并ll查看一下

（3） 把node01的公钥发给其他三台机子
在node01上输入：scp id_dsa.pub node02:pwd/node01.pub
scp id_dsa.pub node03:pwd/node01.pub
scp id_dsa.pub node04:pwd/node01.pub
输完后到四台机子的.ssh目录下查看是不是都有node01.pub(输入：cd .ssh然后ll一下)

（4） 在node01上分别输入：ssh node02,ssh node03,ssh node04，看是否能免密钥登录，每次ssh都别忘了exit！！！

（5）在node02的.ssh目录下看是否有node01.pub
如果有，那就追加到authorized_keys
输入：cat node01.pub >> authorized_keys
并且在node01上输入：ssh node02看是否免密钥了，记住ssh后要exit！！！
给node03、04都追加一下node01.pub,也就是在node03、04的.ssh目录下输入：cat node01.pub >> authorized_keys

7.两个NN间互相免密钥
node01与node02间互相免密钥: node01可免密钥登录node02，那现需node02上能免密钥登node01，所以
（1）在node02上输入： ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost （验证一下，能不能自己免密钥登录）

（2）分发到node01上输入：scp id_dsa.pub node01:pwd/node02.pub
在node01的.ssh目录下，cat node04.pub >> authorized_keys,
在node02上ssh node01验证一下可否免密钥登录

8.修改namenode的一些配置信息
(1) 在node01里输入：vi hdfs-site.xml
修改路径：

修改（按字母i进行修改）内容：
去掉snn的配置

	<property>
      		<name>dfs.namenode.secondary.http-address</name>
     		 <value>node01:50090</value>
	</property>
1
2
3
4

增加以下property

		<configuration>
		<property>
   			<name>dfs.replication</name>
    		<val
1
2
3