hadoop_虚拟机linux环境部署全教程_linux 安装并配置hadoop步骤

hadoop_虚拟机linux环境部署：

一、 网卡设置

1. 使用VMnet8虚拟网卡
2. 网段设置为：192.168.88.0
3. 网关设置为：192.168.88.2

二、安装Linux操作系统

下载地址：https://vault.centos.org/7.6.1810/isos/x86_64/

三、Linux系统配置

• 修改主机名：hostnamectl set-hostname node1

• 修改IP地址：Vim /etc/sysconfig/network-scripts/ifcfg-ens33

  IPADDR = “192.168.88.101”

• 设置子网掩码：NETMASK=“255.255.255.0”

• 修改：ONBOOT=“yes”

• 修改：BOOTPROTO=“static”

• 设置网关： GATEWAY=“192.168.88.2”

• 设置DNS1服务器：DNS1=“192.168.88.2”

• 重启网卡：

  systemctl stop network 与 systemctl start network

  或者 systemctl restart network

											# 补充知识点
# 1、切换root权限：su - 或者 su root
# 2、查询IP地址：ifconfig
1
2
3

四、配置主机名的映射

• Windows环境配置

  文件地址：C:/Windows/System32/drivers/etc/hosts

  添加映射：

  192.168.88.101 node1

  192.168.88.102 node2

  192.168.88.103 node3

• Linux环境配置

  文件地址：/etc/hosts

  添加映射：

  192.168.88.101 node1

  192.168.88.102 node2

  192.168.88.103 node3

五、配置SSH免密登录

1. 在每一台机器都执行：“ssh-keygen -t rsa -b 4096”, 一路回车到底即可

2. 在每一台机器都执行：

   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3
   1
   2
   3

3. 执行完毕后，node1，node2，node3之间将完成root用户之间的免密互通，跳转服务器" ssh node1"。

六、创建hadoop用户并配置免密登录

后续大数据的软件，将不会以root用户启动（确保安全，养成良好习惯）

将在linux里面创建一个单独的用户hadoop，并为三台服务器同样配置hadoop用户的免密互通。

1、在每一台机器执行：useradd hadoop, 创建hadoop用户

2、在每一台机器执行：passwd hadoop, 设置hadoop用户密码123456

3、在每一台机器均切换到hadoop用户：su hadoop，并执行 ssh-keygen -t rsa -b 4096, 创建ssh密钥

4、在每一台机器均执行：

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
1
2
3

七、JDK环境部署

1. 下载JDK软件：网址：https://www.oracle.com/java/technologies/downloads

2. 创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到：/export/server内

   mkdir -p /export/server

3. 解压缩JDK安装文件：

tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server（linux可以用rz命令上传文件）

4. 配置JDK的软链接：ln -s /export/server/jdk1.8.0_351 /export/server/jdk

   （linux软连接：它的功能是为某一个文件在另外一个位置建立一个同步的链接。简单来说，就是windows里面的快捷方式。）

   # ln -s target source
   # ln -s：表示创建一个软连接；
   # target：表示目标文件（夹），即源文件。
   # source：表示当前目录的软连接名，即被创建出来的软连接名称以及放置在何处。
   1
   2
   3
   4

5. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

   # 编辑/etc/profile文件
   vim /etc/profile
   export JAVA_HOME=/export/server/jdk
   export PATH=$PATH:$JAVA_HOME/bin
   1
   2
   3
   4

6. 生效环境变量：source /etc/profile

7. 配置java执行程序的软连接

   # 删除系统自带的java程序
   rm -f /usr/bin/java
   # 软连接我们自己安装的java程序
   ln -s /export/server/jdk/bin/java /usr/bin/java
   1
   2
   3
   4

8. 执行验证：

   java -version
   javac -version
   1
   2

八、关闭防火墙和SElinux

1. 集群化软件之间需要通过端口互相通信，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。

   systemctl stop firewalld
   systemctl disable firewalld
   1
   2

2. Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。

   在当前，我们只需要关闭SELinux功能，避免导致后面的软件允许出现问题即可。

   VIM /etc/sysconfig/selinux
   
   # 将第七行，SELinux=enforcing改为
   SELinux = disabled
   # 保存后退出，重启虚拟机即可，注意disabled单词不要写错，不然无法启动系统。
   1
   2
   3
   4
   5

九、修改时区并配置自动时间同步

以下炒作在三台Linux均执行

1. 安装ntp软件

   yum install -y ntp

2. 更新时区

   rm -f /etc/localtime; sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

   ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机启动

   systemctl start ntpd

   systemctl enable ntpd

十、拍摄快照保存状态

点击拍摄快照