本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。hadoop集群安装的流程本人多次实践过，从而编写出最简单、最明了的操作过程。

虚拟机安装及CentOS-7镜像文件安装的详细步骤

此次hadoop集群的搭建设置了三个节点，主节点的名称为：bigdata2021master，剩余两个子节点的名称分别为：bigdata2021slave1,bigdata2021slave2。

一、下载相关软件的压缩包

搭建hadoop集群需要配置java、hadoop环境，因此需要去官网下载相关的压缩包。注：尽量不要下载最新版本的压缩包，可能会出现不兼容等相关问题，建议下载老一点版本的。在window中下载的文件可通过qq邮箱、xshell软件等方式传送到虚拟机上去。

1、hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/（注：选择：hadoop-2.7.1.tar.gz 的文件下载即可）

2、jdk下载地址：https://www.oracle.com/java/technologies/downloads/#java8（注：选择：jdk-8u381-linux-x64.tar.gz文件下载即可）

二、配置虚拟机上主节点相关设置

1、修改主机用户名

首先要将你的主机用户名改为所需要的用户名，这里我改成bigdata2021master。

（1）打开终端，输入：su后并输入密码切换成管理员模式；

（2）输入：vi etc/hostname，修改成对应的用户名（注：用vi命令编辑文件时按i进入编辑模式，编辑完成后按esc后输入wq!保存并退出）；

2、进行ip地址映射

在终端中输入：vi etc/hosts 后输入（如下图）三个节点名称和ip地址（ip地址可在终端中输入ifconfig命令中可查看，剩余两个子节点的ip地址最后三位自己可随便定义）；

3、配置虚拟机网络设置

（1）在终端中输入vi /etc/sysconfig/network-scripts/ifcfg-ens33后，修改和增加相关配置，修改和增加的内容为下图1中红色框的内容。其中IPADDR表示为IP地址，NETMASK表示为子网掩码，GATEWAY为网关，以上地址可在虚拟机菜单中点击编辑–>虚拟网络编辑器–>VMnet8–>NAT设置后即可看到相关地址信息（如下图2步骤），DNS1和DNS2可用图中默认的地址；

（2）完成上述配置，要重启网络，在终端中输入：service network restart

图1：（注：可能读者在操作时有些配置和此图片不一样，读者要统一成和此图片一致，除红框中的信息要根据自己计算机的地址信息来修改）

图2：可能需要管理员权限

三、解压并配置java、hadoop环境

1、解压jdk、hadoop压缩文件

（1）切换到保存压缩包的文件夹下输入：tar -zxvf 压缩包名

（2）文件名过长时可用mv命令修改方便后续操作

2、配置jdk、hadoop环境

（1）在终端中输入：vi /etc/profile 来修改文件；

（2）在结尾加上以下内容（如下图所示）：

export JAVA_HOME=解压后的jdk文件路径

export CLASSPATH= $: C L A SSP A T H :$ JAVA_HOME/lib/

export PATH= $P A T H :$ JAVA_HOME/bin

export HADOOP_HOME=解压后的hadoop文件路径

export PATH= $HADOOP\_HOME/bin:$ HADOOP_HOME/sbin:$PATH

（3）保存退出后输入：source /etc/profile 让修改的配置文件生效；

（4）验证是否配置成功，输入：java -version 如果出现下图信息说明配置成功。

3、修改hadoop中的相关配置文件信息（最重要）

（1）新建几个目录用来存储修改配置文件后的相关信息，在终端中输入以下命令：

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

（2）切换到 etc/hadoop 下，修改一系列配置文件：

输入：vi core-site.xml 修改文件，在文件中的和添加以下内容（注：黄色部分要改成自己的主机名）

hadoop.tmp.dir

/root/hadoop/tmp

Abase for other temporary directories.

fs.default.name

hdfs://bigdata2021master:9000

输入：vi hadoop-env.sh 修改文件，找到文件中的以下内容（红框的内容是文件中的原文内容，后部分要自己根据存储的jdk、hadoop文件路径进行修改），并修改成以下内容：

输入：vi hdfs-site.xml 修改文件，在文件中的和添加以下内容：

dfs.name.dir

/root/hadoop/dfs/name

Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.

dfs.data.dir

/root/hadoop/dfs/data

Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.

dfs.replication

2 #表示副节点的个数

dfs.permissions

false

need not permissions

输入：mapred-site.xml 修改文件，在文件中的和添加以下内容（注：黄色部分要改成自己的主机名）

mapred.job.tracker

bigdata2021master:49001

mapred.local.dir

/root/hadoop/var

mapreduce.framework.name

yarn

输入：yarn-site.xml 修改文件，在文件中的和添加以下内容（注：黄色部分要改成自己的主机名）

yarn.resourcemanager.hostname

bigdata2021master

The address of the applications manager interface in the RM.

yarn.resourcemanager.address

${yarn.resourcemanager.hostname}:8032

The address of the scheduler interface.

yarn.resourcemanager.scheduler.address

${yarn.resourcemanager.hostname}:8030

The http address of the RM web application.

yarn.resourcemanager.webapp.address

${yarn.resourcemanager.hostname}:8088

The https adddress of the RM web application.

yarn.resourcemanager.webapp.https.address

${yarn.resourcemanager.hostname}:8090

yarn.resourcemanager.resource-tracker.address

${yarn.resourcemanager.hostname}:8031

The address of the RM admin interface.

yarn.resourcemanager.admin.address

${yarn.resourcemanager.hostname}:8033

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.scheduler.maximum-allocation-mb

2048

每个节点可用内存,单位MB,默认8182MB

yarn.nodemanager.vmem-pmem-ratio

2.1

yarn.nodemanager.resource.memory-mb

2048

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-bTA5kAUC-1712890075503)]
[外链图片转存中…(img-bnf2LkoO-1712890075503)]
[外链图片转存中…(img-aQ43bKij-1712890075503)]
[外链图片转存中…(img-LiAPMaXa-1712890075504)]
[外链图片转存中…(img-SP7L4Bsb-1712890075504)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-ZDZdU6C0-1712890075504)]

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/776640