赞
踩
前面准备部分参考:
Hadoop系统应用之安装准备(一)(超详细步骤指导操作,VMware Workstation 15.5 PRO,CentOS-6.7)
第一步:对虚拟机在本地的网络连接进行设置,首先需要如下图确定红圈中的几个与虚拟机网络连接有关的进程正在运行。
然后进行虚拟网络编辑器,选择VMnet8网络连接(该连接为虚拟机的网络连接)。
在该连接下将子网IP改为192.168.121.0,再选择NAT模式,进入NAT设置,将网关IP设为192.168.121.2。
确定后再进入DHCP设置,查看虚拟机IP地址可选范围,一般VMware工具可选范围为192.168.121.128~192.168.121.254,之后确定并应用。
第二步:对本地网络中的虚拟机网络连接做修改,其中IP地址可设为192.168.121.5,子网掩码255.255.255.0,默认网关192.168.121.2,DNS服务器8.8.8.8
对虚拟机主机名进行配置,分别运行三个虚拟机并登录,然后使用指令:
vi /etc/sysconfig/network
将三个虚拟机主机名依次配置为hadoop01、hadoop02、hadoop03,由于后两个虚拟机是由第一个进行克隆生成,因此后两个虚拟机的主机名与第一个会一样,需要修改。
vi为文件修改模式,进入界面后先按键盘i键进入修改模式,修改完要先按esc键退出修改,指令:wq为保存退出,指令:q!为直接退出。
下图为Hadoop02的原始主机名hadoop01,需要修改为hadoop02,然后保存退出。之后对Hadoop03进行相同操作。
配置三个虚拟机的IP映射:
使用指令vi /etc/hosts
依次对三个虚拟机的IP映射文件hosts进行编辑,新增如下内容:
192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03
保存后即完成了三个主机与IP地址的映射,上述具体的IP地址可根据前面DHCP设置中虚拟机IP地址的可选范围来确定。
修改虚拟机网卡配置文件,配置网卡设备的MAC地址,具体指令如下:
vi /etc/udev/rules.d/70-persistent-net.rules
这一步只需要对虚拟机hadoop02和虚拟机hadoop03进行设置,下面以虚拟机hadoop02为例进行说明。
由于这两个虚拟机是由hadoop01克隆而来,因此上述配置文件中会存在两个网卡,删除eth0网卡,将NAME=“eth1”修改为NAME=“eth0”即可。Hadoop03配置与hadoop02一致。
之后修改IP地址文件,设置静态IP,这一步骤三个主机都要进行,使用指令如下:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
进入编辑界面后将BOOTPROTO改为static,确保HWARRD与该hadoop主机的网络配置中的MAC地址一致,然后新增如下内容:
IPADDR=192.168.121.134(hadoop02则为192.168.121.135、hadoop03则为192.168.121.136)
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
查看hadoop主机的网络配置中的MAC地址方法如下:
使用reboot指令重启虚拟机,使用指令ifconfig查看配置是否生效,然后执行指令 ping www.baidu.com查看网络是否连接正常,显示数据连接后使用ctrl+c停止网络的连接。
查看服务器是否默认安装并启动SSH服务,输入以下指令分别查询是否安装以及是否启动SSH服务:
rpm -qa | grep ssh (查询是否安装指令)
ps -e | grep sshd (查询是否启动指令)
一般会默认安装与启动,若没有安装,需要执行yum install openssh-server指令进行安装。
由于CentOS6已经停止维护,所以目前无法正常使用yum install XX指令进行在线安装,因此需要我们更改CentOS6默认的yum源。(这一步骤必须进行,后续实验会用到yum install XX指令进行在线安装)。
更改方式,按照顺序依次输入以下五条指令即可:
sed -i “s|enabled=1|enabled=0|g” /etc/yum/pluginconf.d/fastestmirror.conf
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo
yum clean all
yum makecache
完成SecureCRT软件的安装,以便可以在windows操作系统上远程连接Linux服务器,方便我们对hadoop集群进行操作。
下载地址
安装方式就按照正常步骤进行安装,之后使用注册机,步骤如下:
之后打开SecureCRT软件后按照下图步骤,完成hadoop集群的连接。
不同的服务器输入不同的Hostname,hadoop01为192.168.121.134,hadoop02为192.168.121.135,hadoop03为192.168.121.136。
下图记得保存密码,下次登录就不用再次输入。
另外在设置中将终端设为Linux,还可根据个人喜好设置字体等。
首先在每个服务器上通过指令生成公钥和私钥。指令如下:
ssh-keygen -t rsa
在上述过程中需要连续按四次Enter键确认。
在SecureCRT软件中,鼠标左键选中即为复制,鼠标右键单击即为粘贴。
之后在每个服务器上使用指令 ssh-copy-id hadoop01,将每个服务器的公钥复制到hadoop01上,后序需要输入“yes”以及hadoop01服务器密码。
然后把hadoop01上的刚刚得到的所有公钥发送到hadoop02和hadoop03上,在hadoop01上依次使用指令:
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
每次输入后需要输入“yes”以及对应服务器密码。
之后就完成了三台机器的SSH免密登录,例如在hadoop01上登录hadoop02只需输入:
ssh hadoop02
exit为退出该登录。
在hadoop02和hadoop03上首次登录其他服务器需要进行下图确认行为,之后登录则不需要再进行确认。
参考文献:黑马程序员.Hadoop大数据技术原理与应用[M].北京:清华大学出版社,2019.
后续学习链接:
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。