Hadoop分布式集群搭建（完整版）_hadoop搭建完全分布式集群

一、前期准备工作

VMware和Centos7下载安装教程：

https://blog.csdn.net/m0_59209350/article/details/117793482

XShell和Xftp下载安装教程：

https://blog.csdn.net/m0_59209350/article/details/117877235

二、虚拟机配置

安装一台虚拟机作为模板：

IP地址：192.168.10.100

主机名：hadoop100

内存：4G

硬盘：50G

2.1 切换root（管理员）用户

2.2 网络配置

对安装好的VMware进行网络配置，方便虚拟机联网，本次设置选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

Windows的网络配置

打开网络和Internet设置 --> 点击更改适配器选项 --> 找到VMware Network Adapter VMnet8右键属性

修改虚拟机IP地址为静态IP，方便节点服务器间的相互通信

（1）命令行输入

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

（2）进入后点击“i或a”进入编辑模式左下角显示插入即证明进入编辑模式

（3）修改以下内容

（4）修改完毕后点击ESC退出编辑模式，左下角的插入消失即证明退出编辑模式，输入 “：wq”保存退出

（5）在命令行输入“systemctl restart network” 来重启网络，重启后可用“ifconfig”来查看当前IP

注意： 要保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

2.3修改主机名和Hosts文件

（1）修改主机名

在命令行输入“vim /etc/hostname”，按“i或a”进入编辑模式，修改主机名

（2）修改Hosts文件

在命令行输入“vim /etc/hosts”，按“i或a”进入编辑模式，添加如下内容

192.168.10.100 hadoop100
192.168.10.101?hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
1
2
3
4
5

注意： 后面的hadoop10x是你自己设置的主机名， 这里搭建集群需要三个，一个作为备用

设置完成后重启

（3）修改Windows主机的Hosts文件

进入C:WindowsSystem32driversetc路径；

Windows7可以直接打开Hosts文件添加跟上面Centos一样的内容；

Windows10要把Hosts拷贝到桌面一份进行修改后替换原文件

2.4 虚拟机环境准备

2.4.1 安装软件包

使用yum安装虚拟机需要网络，因此yum安装之前可以先测试下虚拟机的联网情况，可以选择：ping www.baidu.com

确认好网络后命令行输入

yum install -y epel-release
1

等待安装完成，Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库。

注意：若是选择了最小化安装（GHOME安装不需要此操作），还需要安装以下工具

（1）net-tool：包含ifconfig等查看网络地址的命令

yum install -y net-tools
1

（2）vim：编辑器

yum install -y vim
1

（3）其他工具

yum install -y ?psmisc ?nc??rsync??lrzsz ?ntp libzstd openssl-static tree?iotop git
1

2.4.2 赋予创建的普通用户暂时拥有root权限

进入后可以先输入“:set nu”显示行号，“:99”直接移动到第99行，然后点击“i或a”进入编辑模式，在“%wheel ALL=(ALL) ALL”下面添加一行

vim /etc/sudoers

#添加的内容
master? ? ALL=(ALL)? ? ? ?NOPASSWD:ALL
1
2
3
4

修改完成后按ESC退出编辑模式，输入“：wq！”强制保存退出

注意： “master”是你创建的普通用户的用户名

2.4.3 关闭防火墙和开机自启

sudo systemctl stop firewalld
sudo systemctl disable firewalld.service
1
2

2.4.4 在/opt目录下创建文件夹，并修改所属主、所属组

（1）创建文件夹

mkdir -p /opt/moudle /opt/software
1

（2）修改所属主、