hadoop 集群搭建（详细版）_hadoop集群搭建

更改主机名

三台虚拟机都要更改

# 在node1的节点输入
hostnamectl set-hostname node1.itcast.cn
# 在node2的节点输入
hostnamectl set-hostname node2.itcast.cn
# 在node2的节点输入![在这里插入图片描述](https://img-blog.csdnimg.cn/9ba45c247d6e4d2fbb72861a9871ffc8.png#pic_center)

hostnamectl set-hostname node3.itcast.cn
1
2
3
4
5
6
7

关闭防火墙

# 临时关闭防火墙
systemctl stop firewalld
# 查看防火墙状态
systemctl status firewalld
# 永久关闭防火墙(这里要注意直接使用永久关闭防火墙时当前的服务请器的防火墙不会关闭)
systemctl disable firewalld
1
2
3
4
5
6

映射

在每个节点都要操作

vi /etc/hosts # 进入文件
# 在文件最后面添加以下内容
192.168.195.129 node1 node1.itcast.cn
192.168.195.130 node2 node1.itcast.cn
192.168.195.132 node3 node1.itcast.cn
1
2
3
4
5

设置免密

在node1上操作做

# 生成公钥（一直回车确认就可以）
ssh-keygen
# 将免密配置到各个节点
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
1
2
3
4
5
6

同步时间

每个节点都要操作

# 下载时间同步工具
yum -y install ntp ntpdate
# 同步时间
ntpdate ntp5.aliyun.com
1
2
3
4

创建工作目录

每个节点都要创建

# 创建数据存储，下载以及安装目录
mkdir -p /export /data
mkdir -p /export /server
mkdir -p /export /software
1
2
3
4

下载jdk

将Java压缩包jdk-8u351-linux-x64.tar.gz上传到Linux系统中的/export/server目录中（可以通过xftp我个人认为比较稳定）

# 上传成功后进行解压
tar -zxvf jdk-8u351-linux-x64.tar.gz
# 配置Java的环境变量
vi /etc/profile
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# 重新加载环境变量
source /etc/proflie
1
2
3
4
5
6
7
8
9

安装配置Hadoop

将Hadoop安装文件上传到/export/server目录中

# 对压缩包进行解压
tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
1
2

修改配置文件

进入Hadoop配置文件目录（/export/server/hadoop-3.3.0/etc/hadoop）并且修改以配置文件

cd /export/server/hadoop-3.3.0/etc/hadoop
1

配置hadoop-env.sh文件

vi hadoop-env.sh
1

在文件最后

export JAVA_HOME=/export/server/jdk1.8.0_241
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
1
2
3
4
5
6

配置core-site.xml文件

vi core-site.xml
1

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

配置hdfs-site.xml文件

vi hdfs-site.xml
1

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>
1
2
3
4
5

配置mapred-site.xml文件

vi mapred-site.xml
1

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

配置yarn-site.xml文件

vi yarn-site.xml
1

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

配置workers

vi workers
1

添加到文件

node1
node2
node3
1
2
3

向其他节点分发配置完成的程序

# 进入安装路径
cd /export/server
# 向node2发送配置程序
scp -r hadoop-3.3.0 root@node2:$PWD
# 向node3发送配置程序
scp -r hadoop-3.3.0 root@node3:$PWD
1
2
3
4
5
6

为Hadoop添加环境变量

# 打开环境变量文件
vim /etc/profile
#在文件最后面添加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 重新加载环境变量
source /etc/profile
# scp给其他节点
scp /etc/profile node2:/etc/profile
scp /etc/profile node3:/etc/profile
1
2
3
4
5
6
7
8
9
10

可以在每个节点中输入Hadoop来验证时候配置成功

Hadoop
1

启动集群

初始化

不要多次执行，不然可能会启动失败，或数据丢失

hdfs namenode -format
1

启动集群

# 启动hdfs集群
start-dfs.sh
# 启动yarn集群
start-yarn.sh 
1
2
3
4

web页面

使用jps查询各个节点的进程结果如下即为启动成功

web页面:hdfsweb页面

web页面:yarnweb页面

如果还有不理解的或不成功的欢迎下面评论，我把每一步的执行截图补上
愿君前程似锦，未来可期去

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/205476