Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置_hadoop 配置

三、快照

二、主机名，IP，ssh免密登录

1.修改主机名

2.设置IP（各节点的IP从主节点依次排序，node1为30，node2则为31，以此类推）

3.主机映射

4.ssh免密登录

三、JDK安装部署（三台虚拟机都要安装）

四.关闭防火墙和SElinux

五、修改时区并配置自动时间同步

Hadoop的前置环境基本配置完成，建议快照保存

六、Hadoop安装与部署

一、Hadoop安装包下载

二、Hadoop安装以及配置

---

一、集群环境准备

一、虚拟机安装

1.选择典型或者自定义，一般选择典型即可，如果需要进行更多的详细配置可以选择自定义。

2.选择想要安装的虚拟机映像位置

3.设置用户名以及密码

4.设置虚拟机名称以及存储位置

5.设置磁盘存储方式以及磁盘大小

6.完成配置点击完成，也可以点击自定义硬件进行详细配置

注意：对于主节点，由于软件运行较多，所以主节点的内存一般会比其他节点内存大。

二、克隆

在首台虚拟机创建完成后，可以通过克隆的方式快速创建其他虚拟机。

1.右键虚拟机名称，点击管理，选择克隆选项

2.点击克隆后，点击下一页

3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。

4.选择克隆类型，一般为完整克隆

5.设置克隆虚拟机的名称以及存放位置

6.设置完成后点击完成，克隆结束。

三、快照

快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。可以在执行易出错操作前对虚拟机进行快照拍摄，建议快照拍摄时，虚拟机处于关机状态，否则拍摄时间可能较长。

1.右键虚拟机，选择快照

2.快照命名以及描述

3.点击拍摄快照即可完成拍摄。

二、主机名，IP，ssh免密登录

注意如果虚拟机有其他用途，通常为了安全会为大数据专门设置一个Hadoop用户然后配置免密登录

在root用户下执行下列操作

添加用户：useradd hadoop

设置密码：passwd hadoop

1.修改主机名

命令：hostnamectl set-hostname [名称]，将主机名分别改为node1,node2,node3，也可以自行设置名称。

2.设置IP（各节点的IP从主节点依次排序，node1为30，node2则为31，以此类推）

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

进入到网络配置文件中。将文件BOOTPROTO改为static，添加IPADDR（处于子网IP范围之间）,GATEWAY（与子网IP一致）,NETMASK（子网掩码）和DNS1。 配置完成后需要重启网卡（systemctl  restart network）。

网络配置完成后，ping一下www.baidu.com，如果结果为如下结果，则表示网络配置成功。

3.主机映射

本地Windows的hosts文件修改  文件存放路径：C:\Windows\System32\drivers\etc

如果无法修改请看另外一篇文章Hadoop集群安装常见问题以及解决方法_菜鸟工程师10086的博客-CSDN博客

修改每台节点的hosts文件

命令为sudo vim /etc/hosts ，依次添加node1，node2，node3

4.ssh免密登录

1.命令：ssh-keygen -t rsa -b 4096   然后一路回车到底

在三台虚拟机依次执行

2.依次执行 ssh-copy-id node1 、ssh-copy-id node2 、ssh-copy-id node3。执行每一个命令后需要输入yes和id对应虚拟机的密码。

三、JDK安装部署（三台虚拟机都要安装）

JDK安装包链接：https://pan.baidu.com/s/1QxVCRdLcVaqD0kNXCrD3lg 
提取码：1111 
也可自行下载

1.创建一个文件夹 命令： mkdir -p /export/servers

2.上传文件，进入刚刚创建的文件夹，输入rz，找到JDK存放路径，选择JDK

3.解压文件 命令：  tar  -zxvf  jdk-8u361-linux-x64.tar.gz  -C  /export/servers

4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk

5.配置JAVA_HOME环境变量

更改环境变量：sudo vim /etc/profile

#jdk环境变量
export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin

6.生效环境变量，删除原有jdk，构建新的jdk软连接

生效环境变量： source /etc/profile

删除原因jdk： rm -f /usr/bin/java

构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java

验证jdk：java -version

javac -version

四.关闭防火墙和SElinux

1.关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

2.关闭selinux

selinux,是用以限制用户和程序的相关权限，来确保系统的安全稳定。

命令：sudo vim /etc/sysconfig/selinux

将SELINUX=enforcing修改为SELINUX=disabled

五、修改时区并配置自动时间同步

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

g-mMcJzKRy-1712519919597)]
[外链图片转存中…(img-7CJpwEiM-1712519919597)]
[外链图片转存中…(img-wqqfoXTX-1712519919597)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-mtY9wWMj-1712519919597)]