当前位置:   article > 正文

3台虚拟机HA高可用配置详解_三台主机配置 keepalive 高可用

三台主机配置 keepalive 高可用

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK,配置环境变量等

集群规划:
主机名 IP 安装的软件 运行的进程

3台虚拟机
demo1           jdk、hadoop、zookeeper        zookeeper    journalnode   namenode zkfc    resourcemanager  datanode   nodemanager
demo2           jdk、hadoop、zookeeper        zookeeper    journalnode   namenode zkfc    resourcemanager  datanode   nodemanager
demo3           jdk、hadoop、zookeeper        zookeeper    journalnode   datanode         nodemanager
  • 1
  • 2
  • 3
  • 4

说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤:
1.安装配置zooekeeper集群(在demo1上)
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local
1.2修改配置
cd /usr/local/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改:dataDir=/usr/local/zookeeper-3.4.5/tmp
在最后添加:
server.1=demo:2888:3888
server.2=demo2:2888:3888
server.3=demo3:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /usr/local/zookeeper-3.4.5/tmp
再创建一个空文件
touch /usr/local/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /usr/local/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点
scp -r /usr/local/zookeeper-3.4.5/ demo2:/usr/local/
scp -r /usr/local/zookeeper-3.4.5/ demo3:/usr/local/

        注意:修改weekend06、weekend07对应/weekend/zookeeper-3.4.5/tmp/myid内容
        weekend06:
            echo 2 > /usr/local/zookeeper-3.4.5/tmp/myid
        weekend07:
            echo 3 > /usr/local/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群(在weekend01上操作)
    2.1解压
        tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/
    2.2配置HDFS(hadoop2.X所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
        #将hadoop添加到环境变量中
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_141
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin

        #hadoop2.x的配置文件全部在$HADOOP_HOME/etc/hadoop下
  • 1

cd /usr/local/hadoop-2.7.3/etc/hadoop

        2.2.1修改hadoo-env.sh
  • 1

export JAVA_HOME=/usr/local/jdk1.8.0_141

        2.2.2修改core-site.xml
  • 1




fs.defaultFS
hdfs://ns1



hadoop.tmp.dir
/usr/local/hadoop-2.7.3/dfs



ha.zookeeper.quorum
demo:2181,demo2:2181,demo3:2181

        2.2.3修改hdfs-site.xml
  • 1




dfs.nameservices
ns1



dfs.ha.namenodes.ns1
nn1,nn2



dfs.namenode.rpc-address.ns1.nn1
demo1:9000



dfs.namenode.http-address.ns1.nn1
demo1:50070



dfs.namenode.rpc-address.ns1.nn2
demo2:9000



dfs.namenode.http-address.ns1.nn2
demo2:50070



dfs.namenode.shared.edits.dir
qjournal://demo1:8485;demo2:8485;demo3:8485/ns1



dfs.journalnode.edits.dir
/usr/local/hadoop-2.7.3/journaldata



dfs.ha.automatic-failover.enabled
value>true



dfs.client.failover.proxy.provider.ns1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods

sshfence
shell(/bin/true)




dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa



dfs.ha.fencing.ssh.connect-timeout
30000

        2.2.4修改mapred-site.xml
  • 1




mapreduce.framework.name
yarn

        2.2.5修改yarn-site.xml
  • 1




yarn.resourcemanager.ha.enabled
true



yarn.resourcemanager.cluster-id
zlf



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
demo1


yarn.resourcemanager.hostname.rm2
demo2



yarn.resourcemanager.zk-address
demo1:2181,demo2:2181,demo3:2181


yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.log-aggregation-enable
true



yarn.log.server.url
http://master:19888/jobhistory/logs

        2.2.6修改slaves
  • 1

demo1
demo2
demo3

        2.2.7配置免密码登陆
            #首先要配置demo1到demo1、demo2、demo3的免密码登陆
            #配置demo2到demo1、demo2、demo3的免密码登陆

    2.4将配置好的hadoop拷贝到其他节点

        scp -r /usr/local/hadoop-2.7.3  hadoop@demo2:/usr/local/
        scp -r /usr/local/hadoop-2.7.3  hadoop@demo3:/usr/local/

    ###注意:严格按照下面的步骤
    2.5启动zookeeper集群(分别在demo1,demo2,demo3上启动zk)
        cd /usr/local/zookeeper-3.4.5/bin/
        ./zkServer.sh start
        #查看状态:一个leader,两个follower
        ./zkServer.sh status

    2.6启动journalnode(分别在在demo1,demo2,demo3上执行)
        cd /usr/local/hadoop-2.7.3
        sbin/hadoop-daemon.sh start journalnode
        #运行jps命令检验,demo1,demo2.demo3上多了JournalNode进程

    2.7格式化HDFS
        #在demo1上执行命令:
        hdfs namenode -format
        #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/usr/local/hadoop-2.7.3/dfs,然后将/usr/local/hadoop-2.7.3/dfs拷贝到demo2的/usr/local/hadoop-2.7.3/下。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

scp -r usr/local/hadoop-2.7.3/dfs demo2:/usr/local/hadoop-2.7.3/

    2.8格式化ZKFC(在demo1上执行即可)
        hdfs zkfc -formatZK

    2.9启动HDFS(在demo1上执行)
        sbin/start-dfs.sh

    2.10启动YARN(#####注意#####:在demo1上执行start-yarn.sh,并且手动在demo2上执行yarn-demon.sh  start  resourcemanager
        sbin/start-yarn.sh
        yarn-demon.sh  start  resourcemanager(demo2上手动启动)

到此,hadoop-2.7.3 HA配置完毕,可以统计浏览器访问:
    http://demo1:50070
    NameNode 'demo1:9000' (active)
    http://demo2:50070
    NameNode 'demo2:9000' (standby)

验证HDFS HA
    首先向hdfs上传一个文件
    hadoop fs -put /etc/profile /profile
    hadoop fs -ls /
    然后再kill掉active的NameNode
    kill -9 <pid of NN>
    通过浏览器访问:http://demo2:50070
    NameNode 'demo2:9000' (active)
    这个时候weekend02上的NameNode变成了active
    在执行命令:
    hadoop fs -ls /
    刚才上传的文件依然存在!!!
    手动启动那个挂掉的NameNode
    sbin/hadoop-daemon.sh start namenode
    通过浏览器访问:http://demo1:50070
    NameNode 'demo1:9000' (standby)

验证YARN:
    运行一下hadoop提供的demo中的WordCount程序:
    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /profile /out

验证YARN:HA

    打开http://demo1:8088   页面可以显示ResourceManager HA state:   active
    打开http://demo2:8080   页面自动跳转http://demo1:8088 (window上hosts文件需配置ip映射关系,否则无法访问网页)

    kill -9 <demo1上resourcemanger>  weekend02上的 http://demo2:8080 页面可以显示ResourceManager HA state:   active
    手动启动demo1上的resourcemanger  http://demo1:8088 页面上显示ResourceManager HA state: standby

OK,大功告成!!!
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46

测试集群工作状态的一些指令 :
bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息

bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态

sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程

./hadoop-daemon.sh start zkfc 单独启动一个zkfc进程

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/855713
推荐阅读