Hadoop分布式集群的安装(图解)_hadoop集群安装

前言

这里的笔记仅供参考使用，你可以从买来一台新的电脑就可以开始照着安装。我目前在虚拟机里面仅仅安装jdk和Hadoop，作为我们集群最基础需要的东西，有需要学习其他的东西的小伙伴可以等待我的后续更新，和其他博主不一样的是，每个人都有不一样的地方，但目的肯定是一样的。话不多说，开干！

注：小小的提示，本实验因为涉及到网络服务的连接，建议各位在学习期间关闭你的防火墙，否则，一旦出现连接时错误时，找找你的防火墙问题。

安装前的检查

1、电脑是否虚拟化
可能有很少的一部分同学在我们打开VMware时出现过这种情况

这个问题出现的原因就是我们的电脑未进行虚拟化的开启，这时候我们打开我们的任务管理器(鼠标放到最下边的任务栏，右击就会出现，快捷键：笔记本：ctrl+shift+esc，台式电脑，ctrl+alt+.),如果出现
这个时候我们点开详细信息就可以了，再点击性能，如果你能看到
下面这个虚拟化三个字，应该时处于已禁用的状态(已启动不用管)，这时候我们就需要开启虚拟化。下面这个开启虚拟化，我就不测试了，不能截图，偷偷偷个懒，没人发现吧。
开启虚拟化详情链接

2、安装VMWare
因为这里主要就是有安装包了之后，一次一次下一步基本上就可以了。
vmware安装详情链接

VMware16百度网盘下载链接：https://pan.baidu.com/s/1ZZK53T18sc72xsTU355GYg
提取码：078m

3、准备centos下载
centOS7.5.1804官网下载地址链接
这里因为超过4个G了，百度网盘都存不下了。

开始安装虚拟机

使用的配置

安装平台：VMware16
适用系统：window10，windows11(其他系统你们的博主没钱尝试了，win11都是升级后才尝试的。)
映像文件：CentOS-7.5-x86_64-DVD-1804.iso

具体安装步骤
1、新建虚拟机

2、选择自定义

3、无脑下一步

4、选择映像方式

5、继续无脑下一步

6、设置虚拟机名称

7、设置虚拟机处理器内核大小

8、设置虚拟机内存大小

9、设置网络类型，学习使用NAT模式

三种模式的区别

NAT、桥接模式(Briged模式)均可与外网进行通信，仅主机模式(Host-Only)一般只能在内网进行通信。
1、NAT（网络地址转换模式）–多用于家庭环境
安装好虚拟机后，它的默认网络模式就是NAT模式。
原理：通过宿主机的网络来访问公网。虚拟局域网内的虚拟机在对外访问时，使用的则是宿主机的IP地址，这样从外部网络来看，只能看到宿主机，完全看不到新建的虚拟局域网。
优势：虚拟系统接入互联网非常简单，只需宿主机器能访问互联网即可, 不需要进行任何手工配置。
2、Bridged(桥接模式）–多用于办公环境
类似局域网中的一台独立的主机，它可以访问内网任何一台机器，但是它要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信【主机防火墙开启会导致ping不通】
设置：
（1）默认存在自动获取ip机制，只需要将虚拟机设置为Bridged(桥接模式），虚拟机会自动获取新的ip，保证ip地址与宿主机在同一个网段。
（2）如果是手工配置机制，那么为了保持虚拟机与宿主机在同一个网段，其中涉及人工配置ip，比较麻烦。
使用场景：如果想利用VMWare在局域网内新建一个虚拟服务器，为局域网用户提供网络服务，就应该选择桥接模式。
3、Host-only(主机模式) – 用得比较少
在某些特殊的网络环境中，要求将真实环境和虚拟环境隔离开，这时你就可采用host-only模式。在这种模式下宿主机上的所有虚拟机是可以相互通信的，但虚拟机和真实的网络（物理机网络）是被隔离开的。
10、连续两个下一步到达这里，选择磁盘

11、选择磁盘大小以及磁盘格式

12、选择你保存的位置，不要出现中文

13、别着急点完成

14、最后的配置

这里我们以后也可以在这个界面更改

选择映像文件，前面选择这里就不用选择了

选择NAT模式

配置完毕后点击关闭完成。启动虚拟机下面这个界面请等待就可以了。
等他安装时我们可以去做一个事，打开我们的网络配置，这么查找控制面板\网络和 Internet\网络连接

Linux的网络配置步骤

对于网络的配置，我们希望IP是相对固定了，这样才能确保集群的所有服务器之间通信的正常，达到协同合作的目的，因此再配置Linux网络时要考虑到局域网和Internet网都可以适配，在这里我们选用虚拟网卡配合NAT模式的方式达到此目的。反正一句话:网要通还很稳定。

步骤如下
1、给当前Linux主机设置VMnet8虚拟网卡，在VMWare中选择虚拟机，在选择设置

最后确定保存。
2、配置网关

子网IP不要和之前win配置的IP地址冲突

这里的网关一定要和之前的保持一致。主要是更改框里面的东西

确定保存后，打开虚拟机。

虚拟机内部设置

选择安装

在下面搜索ch,就可以选择中文，当然你也可以选择其他的，随意，选择

继续下一步。
选择时区和最小化安装

时区自己选择，最小化安装在下面

配置磁盘

第一个分区

设置第一个分布格式

第二个分区

格式

第三个分区

最终的分区设置

点击完成，接受更改
关闭KDUMP

设置root密码
在上面完成后点击下一步

设置密码，一定要记着，更改不太方便

完成配置

这里慢慢等待别着急

等待几分钟后

进入虚拟机

登录界面

配置网络

sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
1

重启网络服务

service network restart
1

检查ping

当我们做好这一步了之后，我们就可以做远程连接了，当然如果你要修改主机名，建议下一步做了之后再做远程连接。这里我们采用xshell做远程连接。这里因为版本基本上都大同小异，使用起来体验差不多，就不指定版本号了。因为有的小伙伴可能需要修改主机名，我们就把远程连接放在后面了。
xshell下载地址
修改主机名

#查看虚拟机现有名字
hostname
1
2

如果你觉得这个虚拟机的名字不好看，我们就改名

sudo vi /etc/hostname
1

把里面的东西删除，更改成你想要的名字，重启虚拟机就可以了。这里我们最基本的虚拟机就安装好了，但是我们因为采取的是最小化安装，我们就还需要安装一些其他的东西。

XShell远程连接
在上面的配置完成后，我们的ping能够搞定三端后(本机，你的win，外网【百度之类】),可以做远程连接了。
打开下xshell后，右击左上角的新建

连接

然后就可以点击确定，或者在用户身份验证哪里输入你的用户名和密码，不输入，每次都需要输入的。也可以在外观哪里选择其他的页面设置。

安装其他东西

下载相应工具组件

[root@localhost ~]# yum install -y epel-release
[root@localhost ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
1
2

永久关闭防火墙

• 临时关闭防火墙

  • 查看防火墙状态systemctl status firewalld
  • 临时关闭防火墙 systemctl stop firewalld

• 开机启动时关闭防火墙

  • 查看防火墙开机启动状态systemctl enable firewalld.service
  • 设置开机时关闭防火墙systemctl disable firewalld.service

还可以创建一个用户pier，并设置密码

#添加用户
[root@localhost ~]# useradd pier    
#设置用户密码
[root@localhost ~]# passwd pier
更改用户 pier 的密码 。
新的 密码：
无效的密码： 密码少于 8 个字符  #这里的提示不用管，自己随意
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。
1
2
3
4
5
6
7
8
9

给用户增加root权限

[root@localhost ~]# vim /etc/sudoers
1

添加下面这一行语句，位置不影响，主要是方便复制。

pier    ALL=(ALL)       NOPASSWD:ALL
1

/opt下创建文件夹

[root@localhost ~]# mkdir /opt/sofeware /opt/module
1

修改文件权限以及所属用户组

[root@localhost opt]# chown pier:pier /opt/module /opt/sofeware/
[root@localhost opt]# ll
总用量 8
drwxr-xr-x. 2 pier pier 4096 1月   7 00:39 module
drwxr-xr-x. 2 pier pier 4096 1月   7 00:39 sofeware
1
2
3
4
5