搭建HDFS集群应该注意虚拟机的相关配置_hdfs 不能复用给虚拟机和容器

关于防火墙

搭建HDFS集群不仅要设置免密登录，还需要关闭防火墙或者开通相应的端口，免密登录是为了让机器通信无障碍，而开通端口或关闭防火墙是为了能让他们通信，否则集群中的虚拟机不能相互通信，导致集群搭建失败

查看防火墙状态：

[root@cluster1 ~]#service iptables status
1

[root@cluster1 ~]# chkconfig | grep iptables
1

iptables：未运行防火墙。
暂时开启防火墙：

[root@cluster1 ~]# service iptables start
1

暂时关闭防火墙：

[root@cluster1 ~]# service iptables stop
1

永久关闭防火墙(需重启才能生效)：

[root@cluster1 ~]# chkconfig iptables off
1

永久开启防火墙(需重启才能生效)：

[root@cluster1 ~]# chkconfig iptables on
1

关于主机名问题

搭建集群时如果抛出java.net.UnknownHostException异常，原因可能是hostname主机名配置与Hadoop配置中的不一致，需修改Hadoop的配置文件或者hostname
环境变量HOSTNAME也保存了当前的主机名。hostname命令用于显示和暂时设置系统的主机名称。在使用hostname命令设置主机名后，系统重新启还是原来的主机名。如果需要永久修改主机名，需要同时修改/etc/hosts和/etc/sysconfig/network的相关内容

[root@node1 bin]# hostname
node1
[root@node1 bin]# hostname node01
[root@node1 bin]# hostname
node01
1
2
3
4
5

[root@localhost home]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.253.128 node01
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                         
1
2
3
4
5
6
7
8
9
10

[root@localhost home]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node01
~                                                                                                                                                                                                                                           
~                                                                                                                                                                                                                                           
~                
1
2
3
4
5
6
7

关于虚拟机静态ip配置的一些相关信息

虚拟机中的ip地址是随机分配的，可能一段时间会改变，也可能不会变，为了集群稳定，我们可以配置静态ip。需
将"ONBOOT"设为yes，开机启动
把"BOOTPROTO" 启动协议，因为我们是手动配置IP，所以设置成none或者static
IPADDR 就是我们要设置的ip静态地址
PREFIX=24 前缀是24，其实就是相当于子网掩码有24位
GATEWAY=192.168.253.2 网关
DNS1=8.8.8.8 DNS服务器

[root@localhost home]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
1

DEVICE=eth0
HWADDR=00:0C:29:27:CE:A2
TYPE=Ethernet
UUID=24f8f065-5be5-4dc0-a1db-03afb0c2e3c1
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none

IPADDR=192.168.253.128
PREFIX=24
GATEWAY=192.168.253.2
DNS1=8.8.8.8                     
1
2
3
4
5
6
7
8
9
10
11
12

关于主备节点切换失败问题

手动kill掉node01上的节点时，可能会出现node02上的备用NameNode节点不会启动，这可能是因为缺少psmisc导致的
在NameNode所在的节点执行以下命令

[root@node01 ~]# yum -y install psmisc
1