2024年最全hadoop修改配置文件和环境变量_hadoop命令环境变量export配置(1)，2024年最新大数据开发开发了解这些自然无惧面试_export 配置文件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

dfs.namenode.secondary.http-address node2:9868

补充：这里指定secondarynamenode在node2上，也就意味着我们jps时，这个进程是显示在node2节点上，而不是node1，如果想要放在node1上，只需修改value的值即可。


### 4、mapred-site.xml


作用：mapreduce相关的  
 注意：有些版本是没有mapred-site.xml文件的，只有mapred-site.xml.template模板，可以先复制一份这样的模板，再去修改。  
 1）备份mapred-site.xml.template



1
2
3
4
5
6
7
8
9
10
11
12
13

cp mapred-site.xml.template mapred-site.xml

如果有mapred-site.xml，忽略这一步。


2）修改文件



1
2
3
4
5
6
7
8

vi mapred-site.xml

1
2

mapreduce.framework.name yarn mapreduce.jobhistory.address node1:10020 mapreduce.jobhistory.webapp.address node1:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP\_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP\_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP\_HOME}

### 5、yarn-site.xml


作用：与yarn相关的,指定resourcemanager的位置信息。



1
2
3
4
5
6
7
8

vi yarn-site.xml

#在configuration标签内添加内容



1
2
3
4
5

yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800

### 6、workers


作用：指定工作的节点有哪些。  
 注意：在hadoop3.0以前，这个文件叫slaves，3.0之后叫做workers。由于我这里是hadoop3.3.0，所以



1
2
3
4
5
6
7
8
9

vi workers

把文件里面的localhost删除，添加以下内容



1
2
3
4
5

node1
node2
node3

**补充**： /etc/hosts 和 workers 这两个文件里的主机名写法应该保持一致，否则会导致启动集群时，系统无法识别主机名。比如我/etc/hosts 里写的是node1，那 workers 里写的也应该是node1，而不是node1.itcast.cn。


**至此，配置文件修改完成。**


## 三、分发同步hadoop


先前并没有同步hadoop服务，是因为想等修改好配置文件后，再把整个hadoop目录同步过去。  
 1）回到服务安装路径下，也就是我这里的`/export/servers`。



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

cd /export/servers

2）执行以下命令



1
2
3
4
5

scp -r hadoop-3.3.0 root@node2:$PWDscp-rhadoop-\mathrm{3.3.0}root@node3:$PWD

补充：**$PWD表示当前节点所在的绝对路径**，在这里就是`/export/servers`,  
 在执行上述命令后，会把node1当前路径下的hadoop-3.3.0目录及其子目录、文件 复制到 node2和node3 的相同路径(/export/servers)下。也就是root@node2:/export/servers 的另一种写法。


至此，所有节点都安装了hadoop。


## 四、配置环境变量


光是下载好jdk和hadoop是不行的，系统不知道它们的路径，也就无法正常使用它们。就像我们在命令符界面使用某些工具时，都需要去到相应的路径才能正常使用一样。  
 负责环境变量的文件是`/etc/profile`。


### 1、修改环境变量



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

vi /etc/profile

将下面内容添加到profile文件中，然后保存退出。



1
2
3
4
5

#java path
export JAVA_HOME=/export/servers/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#hadoop path
export HADOOP_HOME=/export/servers/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

补充：一定要以自己的jdk和hadoop安装路径为准


### 2、分发环境变量文件


将修改好的profile分件分发给其它节点，就无需每个都配置一次。



1
2
3
4
5
6
7
8
9
10
11

scp /etc/profile root@node2:/etc/
scp /etc/profile root@node3:/etc/

### 3、使文件生效


一般情况下，保存的配置文件会在下一次启动时更新，使用以下命令可以在当前会话生效，**每个节点都执行一次**。



1
2
3
4
5
6
7
8

source /etc/profile

![img](https://img-blog.csdnimg.cn/img_convert/91a0ae13e78a6946c7d18e4ed87f8495.png)
![img](https://img-blog.csdnimg.cn/img_convert/68d518aa23610a8ca0c9181265eb04a5.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

中...(img-tDRkbAn3-1715630975386)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21