大数据技术-三机集群环境搭建（VMware17 、Xshell7、CentOS-7-x86_64-Minimal-2009.iso、hadoop-3.3.0、jdk1.8.211-linux）_大数据环境搭建兼容

一、centos7安装-基于VMware

1.打开VMware，新建一个文件夹由于存放后续生成的三台虚拟机

2.新建虚拟机，选择自定义

3.硬件兼容性看需求选择，高版本向下兼容，低版本不可向上兼容

4.选择稍后安装操作系统

5.选择Linux，CentOS 7 64位

6.处理器内核数量总和不要超出计算机的内核总数，一般2个就行

7.看自己机子的内存是多少，16G建议2G或以上，8G内存就选1G~1.5G，网络类型选择NAT

8.创建新虚拟磁盘，因为我这边要装3个虚拟机，所以我给了60，但实际上40，50就够了，磁盘选分成多个文件

9.至此，完成创建，配置IOS映像文件

10.点击开启虚拟机，是由上下键选择第一个安装centos7，等待安装，直到出现选择语言，再配置时区（上海，24小时制）

11.安装位置修改为配置分区，配置三个挂载点

12.配置root密码，创建一个用户，之后就等待安装，完成第一个虚拟机的安装搭建

二、网卡配置和固定IP配置

1.查看网关，编辑->虚拟网络编辑器

打开虚拟机，应管理员的身份登入，输入 cd /etc/sysconfig/network-scripts

输入：ll   ，查看文件，查看网卡文件为：ifcfg-ens33

修改文件：vi ifcfg-ens-33    ，Esc进入修改，Esc退出修改，wq！保存并退出

下图中的196改为192（手误输错）

重启网络：service network restart ，出现绿色OK成功，

这时候我们ping 192.168.135.2和ping8.8.8.8都是可以的，如果不信reboot重新进一下

此时输入ifconfig是没有这条命令的。但是输入ip addr可以看到我们配置的网段

输入yum search ifconfig

输入yum install net-tools.x86_64（注意这里我是在根目录下下载的）

下载后ifconfig就有效了

使用XShell7连接测试，首先新建一个会话

关闭防火墙，不然会影响后续的配置

使用root账号操作

查看是否有开启防火墙服务：systemctl |grep firewall

关闭防火墙：systemctl stop firewalld.service
禁用防火墙：systemctl disable firewalld.service

重启网络：systemctl restart network

三、hadoop权限设置

使用root账号（su -）输入 visudo编辑，添加hadoop权限后 su - hadoop切回hadoop账号

四、导入linux版jdk，hadoop

1.导入压缩包

可以看到我们上传的文件，但是我们要把他们解压到opt文件夹下

2.jdk解压与配置环境变量

解压

cd  /opt

sudo mkdir module

sudo chown hadoop:hadoop module

cd ~

tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/module

环境变量

cd /etc/profile.d

vi /etc/profile.d/jdk.sh

输入：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile （重启profile文件，而不重启系统）

env

出现下图情况就成功配置好了

hadoop解压、安装与配置

1.首先cd回到根目录，解压

 

2.编写hadoop.sh文件，配置环境变量

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

再次：source /etc/profile

输入hadoop，能出现以下就ok

3.配置主机名映射

sudo vi  /etc/hostname

删除原有的名字，改为：hadoop101

然后 reboot重启一下

输入ping hadoop101 ，如果可以即成

五、三机克隆与网络配置

克隆前，先提前修改hadoop101：

vi  /etc/hosts

添加：

192.168.135.101 hadoop101

192.168.135.102 hadoop102

192.168.135.103 hadoop103

克隆之前要关闭hadoop101

1.在hadoop101所在包中，新建两空包

2.在VMware中，选择hadoop101右击，管理->克隆

再重复以上克隆hadoop103

2.配置ip地址

使用root账号，输入：vi /etc/sysconfig/network-scripts/ifcfg-ens33, 只需修改一个ip后缀如：101-》102

修改主机名，输入vi  /etc/hostname ,将hadoop101改为hadoop102

重启网络

systemctl restart network

ping hadoop102

hadoop103同上操作