Centos7搭建hadoop集群

1.搭建单机hadoop

移步此：https://blog.csdn.net/qq_57074721/article/details/135733135

2.搭建集群hadoop

2.1克隆虚拟机

• 右击hadoop1->点击管理->点击克隆
  

• 点击下一步
  

• 选择虚拟机的当前状态->点击下一步
  

• 点击创建连接克隆->点击下一步
  

• 设置克隆虚拟机的名称->点击完成
  

• 将三台虚拟机都启动

3.修改三台虚拟机的配置

• 修改虚拟机的名称(修改成对应的名称即可)

vim /etc/hostname
1

• 修改虚拟机的域名映射

vim /etc/hosts
1

• 修改IP地址

hadoop1 192.168.223.200
hadoop2 192.168.223.201
hadoop3 192.168.223.202

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1
2
3
4
5

• 重启网络服务

systemctl restart network
1

• 对三台虚拟都进行类似的操作
• 使用ping命令检查三台虚拟机之间是否可以进行通信

ping 域名
ping hadoop1
ping hadoop2
ping hadoop2
1
2
3
4

如果三台虚拟机之间都是可以相互ping通，则证明配置没有问题。

4.虚拟机配置ssh免密登录

• 在每台虚拟机上使用生成rsa非对称密钥的命令

ssh-keygen -t rsa
执行命令，连续按三次回车
1
2

• 在hadoop中，将hadoop1中的公钥拷贝到文件authorized_keys中

cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下
1
2

• 在hadoop2中，将文件authorized_keys同步到Hadoop2，并将hadoop2生成的公钥追加到文件中

scp：这个命令可以用于跨虚拟机之间的拷贝，前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys 
1
2
3
4
5

• 在hadoop3中，将文件authorized_keys同步到hadoop3中，并追加hadoop3 的公钥，最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2

# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys 
# 同步回hadoop1、hadoop2
3. 
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/
1
2
3
4
5
6
7
8

• 完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机，且不用输入密码

ssh root@hadoop2
1

5.hadoop集群配置文件配置

• core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- 配置到hadoop目录下temp文件夹 -->
        <value>file:/opt/softtools/hadoop/tmp</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

• yarn-site.xml

<configuration>
    <property>
        <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定YARN集群的管理者（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

• mapred-site.xml

<configuration>
    <property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6
7

• hdfs-site.xml

<configuration>
    <property>
        <!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
        <!--伪分布式模式，此值必须为1-->
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <!-- name node 存放 name table 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <!-- data node 存放数据 block 的目录 -->
        <value>file:/opt/softtools/hadoop/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>192.168.223.200:9870</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

6.浏览器测试

• 在浏览器输入hadoop1:9870
  
• 在浏览器输入 hadoop1:8088
  
  如果能正确地显示出上面的网页，那么恭喜你，已经成功搭建hadoop集群了。
• 注意：如果没有成功出现上面的页面
  可能原因之一：namenode没有重新格式化。

# 将所有节点中的tmp目录和logs目录删除掉。
# 然后在主节点执行如下命令：
hdfs namenode -format
1
2
3