devbox
AllinToyou
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

CentOS7中安装Hadoop3详细步骤_hadoop3 centos

作者：AllinToyou | 2024-04-02 15:15:26

赞

踩

hadoop3 centos

目录

(一)新建一个虚拟机

(二)配置网络

(三)安装vim工具

(四)设置ssh免密登录

(五)设置时间同步

(六)修改主机名

1.方法一

2.方法二

(七)给主机文件添加IP名称映射

(八)安装JDK8

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

4.更改/opt/soft/目录下hadoop的文件名

5.修改hadoop313文件及子目录文件的所有权为root

6.切换当前目录

7.修改core-site.xml文件

8.创建data文件

9.配置JAVA_HOME

10.修改hdfs-site.xml文件

11.data文件夹下创建文件

12.修改mapred-site.xml文件

13.修改yarn-site.xml

14.创建yarndata文件

15.配置HADOOP_HOME环境变量

16.重启/etc/profile文件

17.初始化

18.启动服务

19.jps

20.网页连接服务

21.上传一个文件

22.停用服务

(一)新建一个虚拟机

配置如下，具体步骤可以参考我的另一篇博文《CentOS7中新建虚拟机详细步骤》

(二)配置网络

参考我的博文：《Linux网关设置》

(三)安装vim工具

[root@localhost ~]# yum -y install vim

​ 

(四)设置ssh免密登录

参考我的博文《Linux设置ssh免密登录》

(五)设置时间同步

参考我的博文《Linux中CentOS7时间与网络时间orWindows同步的方法》

(六)修改主机名

1.方法一

[root@localhost .ssh]# vim /etc/hostname

2.方法二

  1. [root@localhost .ssh]# hostnamectl set-hostname lxm148
  2. [root@localhost .ssh]# bash
  3. [root@lxm148.ssh]#

此时ping ip地址或主机名都可以连接上

  1. [root@localhost .ssh]# ping 192.168.180.148
  2.  
  3. [root@localhost .ssh]# ping lxm148

(七)给主机文件添加IP名称映射

  1. [root@localhost .ssh]# vim /etc/hosts
  2.  
  3. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  4. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  5. 192.168.180.148 lxm148
  6. 192.168.180.141 lxm141

修改后就可以直接ping主机名连接其他虚拟机

[root@localhost .ssh]# ping lxm141

(八)安装JDK8

参考我的博文《Linux安装JDK8详细步骤》

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

[root@localhost install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

4.更改/opt/soft/目录下hadoop的文件名

[root@localhost soft]# mv hadoop-3.1.3/ hadoop313

5.修改hadoop313文件及子目录文件的所有权为root

[root@lxm148 soft]# chown -R root:root /opt/soft/hadoop313/

6.切换当前目录

  1. [root@lxm148 hadoop]# pwd
  2. /opt/soft/hadoop313/etc/hadoop

7.修改core-site.xml文件

[root@lxm148 hadoop]# vim ./core-site.xml 

  1. <configuration>
  2.   <property>
  3.     <name>fs.defaultFS</name>
  4.     <value>hdfs://lxm148:9000</value>
  5.   </property>
  6.   <property>
  7.     <name>hadoop.tmp.dir</name>
  8.     <value>/opt/soft/hadoop313/data</value>
  9.     <description>namenode上本地的hadoop临时文件夹</description>
  10.   </property>
  11.   <property>
  12.     <name>hadoop.http.staticuser.user</name>
  13.     <value>root</value>
  14.   </property>
  15.   <property>
  16.     <name>io.file.buffer.size</name>
  17.     <value>131072</value>
  18.     <description>读写队列缓存：128K</description>
  19.   </property>
  20.   <property>
  21.     <name>hadoop.proxyuser.root.hosts</name>
  22.     <value>*</value>
  23.   </property>
  24.   <property>
  25.     <name>hadoop.proxyuser.root.groups</name>
  26.     <value>*</value>
  27.   </property>
  28. </configuration>

8.创建data文件

切换目录

  1. [root@lxm148 hadoop313]# pwd
  2. /opt/soft/hadoop313

创建data文件

  1. [root@lxm148 hadoop313]# mkdir data
  2. [root@lxm148 hadoop313]# ll
  3. total 176
  4. drwxr-xr-x. 2 root root    183 Sep 12  2019 bin
  5. drwxr-xr-x. 2 root root      6 Feb  2 15:11 data
  6. drwxr-xr-x. 3 root root     20 Sep 12  2019 etc
  7. drwxr-xr-x. 2 root root    106 Sep 12  2019 include
  8. drwxr-xr-x. 3 root root     20 Sep 12  2019 lib
  9. drwxr-xr-x. 4 root root    288 Sep 12  2019 libexec
  10. -rw-rw-r--. 1 root root 147145 Sep  4  2019 LICENSE.txt
  11. -rw-rw-r--. 1 root root  21867 Sep  4  2019 NOTICE.txt
  12. -rw-rw-r--. 1 root root   1366 Sep  4  2019 README.txt
  13. drwxr-xr-x. 3 root root   4096 Sep 12  2019 sbin
  14. drwxr-xr-x. 4 root root     31 Sep 12  2019 share

9.配置JAVA_HOME

[root@lxm148 hadoop]# vim ./hadoop-env.sh

10.修改hdfs-site.xml文件

[root@lxm148 hadoop]# vim ./hdfs-site.xml 
  1. <configuration>
  2.   <property>
  3.     <name>dfs.replication</name>
  4.     <value>1</value>
  5.     <description>hadoop中每一个block文件的备份数量</description>
  6.   </property>
  7.   <property>
  8.     <name>dfs.namenode.name.dir</name>
  9.     <value>/opt/soft/hadoop313/data/dfs/name</value>
  10.     <description>namenode上存储hdfsq名字空间元数据的目录</description>
  11.   </property>
  12.   <property>
  13.     <name>dfs.datanode.data.dir</name>
  14.     <value>/opt/soft/hadoop313/data/dfs/data</value>
  15.     <description>datanode上数据块的物理存储位置目录</description>
  16.   </property>
  17.   <property>
  18.     <name>dfs.permissions.enabled</name>
  19.     <value>false</value>
  20.     <description>关闭权限验证</description>
  21.   </property>
  22. </configuration>

11.data文件夹下创建文件

  1. [root@lxm148 data]# mkdir -p ./dfs/name
  2. [root@lxm148 data]# mkdir -p ./dfs/data

12.修改mapred-site.xml文件

  1. <configuration>
  2.   <property>
  3.     <name>mapreduce.framework.name</name>
  4.     <value>yarn</value>
  5.     <description>job执行框架： local, classic or yarn</description>
  6.     <final>true</final>
  7.   </property>
  8.   <property>
  9.     <name>mapreduce.application.classpath</name>
  10.     <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  11.   </property>
  12.  
  13.   <property>
  14.     <name>mapreduce.jobhistory.address</name>
  15.     <value>lxm148:10020</value>
  16.   </property>
  17.   <property>
  18.     <name>mapreduce.jobhistory.webapp.address</name>
  19.     <value>lxm148:19888</value>
  20.   </property>
  21.  
  22.   <property>
  23.     <name>mapreduce.map.memory.mb</name>
  24.     <value>1024</value>
  25.   </property>
  26.   <property>
  27.     <name>mapreduce.reduce.memory.mb</name>
  28.     <value>1024</value>
  29.   </property>
  30.  
  31. </configuration>

13.修改yarn-site.xml

[root@lxm148 hadoop]# vim ./yarn-site.xml 
  1. <configuration>
  2.  
  3. <!-- Site specific YARN configuration properties -->
  4.  
  5.   <property>
  6.     <name>yarn.resourcemanager.connect.retry-interval.ms</name>
  7.     <value>20000</value>
  8.   </property>
  9.  
  10.   <property>
  11.     <name>yarn.resourcemanager.scheduler.class</name>
  12.     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  13.   </property>
  14.  
  15.   <property>
  16.     <name>yarn.nodemanager.localizer.address</name>
  17.     <value>lxm148:8040</value>
  18.   </property>
  19.  
  20.   <property>
  21.     <name>yarn.nodemanager.address</name>
  22.     <value>lxm148:8050</value>
  23.   </property>
  24.  
  25.   <property>
  26.     <name>yarn.nodemanager.webapp.address</name>
  27.     <value>lxm148:8042</value>
  28.   </property>
  29.  
  30. <property>
  31.     <name>yarn.nodemanager.aux-services</name>
  32.     <value>mapreduce_shuffle</value>
  33.   </property>
  34.  
  35.   <property>
  36.     <name>yarn.nodemanager.local-dirs</name>
  37.     <value>/opt/soft/hadoop313/yarndata/yarn</value>
  38.   </property>
  39.  
  40.   <property>
  41.     <name>yarn.nodemanager.log-dirs</name>
  42.     <value>/opt/soft/hadoop313/yarndata/log</value>
  43.   </property>
  44.  
  45. </configuration>

14.创建yarndata文件

回到这个路径：/opt/soft/hadoop313/

[root@lxm148 hadoop313]# mkdir yarndata

15.配置HADOOP_HOME环境变量

[root@lxm148 hadoop]# vim /etc/profile

在JAVA_HOME下面接着配置HADOOP_HOME

  1. # HADOOP_HOME
  2. export HADOOP_HOME=/opt/soft/hadoop313
  3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  4. export HDFS_NAMENODE_USER=root
  5. export HDFS_DATANODE_USER=root
  6. export HDFS_SECONDARYNAMENODE_USER=root
  7. export HDFS_JOURNALNODE_USER=root
  8. export HDFS_ZKFC_USER=root
  9. export YARN_RESOURCEMANAGER_USER=root
  10. export YARN_NODEMANAGER_USER=root
  11. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  12. export HADOOP_COMMON_HOME=$HADOOP_HOME
  13. export HADOOP_HDFS_HOME=$HADOOP_HOME
  14. export HADOOP_YARN_HOME=$HADOOP_HOME
  15. export HADOOP_INSTALL=$HADOOP_HOME
  16. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  17. export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
  18. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

16.重启/etc/profile文件

  1. [root@lxm148 hadoop]# source /etc/profile
  2.  
  3. [root@lxm148 hadoop]# echo $HADOOP_HOME

17.初始化

[root@lxm148 yarndata]# hdfs namenode -format

18.启动服务

[root@lxm148 yarndata]# start-all.sh

19.jps

这里要注意：

如果输入jps命令后启动的数量少于6个，可能是缺少的那个xml文件或/etc/profile中的配置出错，需要仔细检查

如果配置没问题，可以输入命令单独启用服务

  1. hdfs --daemon start datanode
  2.  
  3. 各个服务组件逐一启动/停止
  4. 	（1）分别启动/停止HDFS组件
  5. hdfs --daemon start/stop namenode/datanode/secondarynamenode
  6. 	（2）启动/停止YARN
  7. yarn --daemon start/stop  resourcemanager/nodemanager

20.网页连接服务

http://192.168.180.148:9870

也可以在网页输入

http://lxm147:9870

此时我门需要在windows上进行主机映射

添加主机映射

有的电脑可能无法直接在里面输入并保存，需要放到桌面上，配置完成后再进行保存，再放回C:\Windows\System32\drivers\etc目录下

21.上传一个文件

切换到这个目录下：

/opt/soft/hadoop313/etc/hadoop

  1. [root@lxm148 hadoop]# hdfs dfs -put mapred-env.cmd /
  2. 2023-02-02 16:03:55,911 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  3. 2023-02-02 16:03:58,392 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

刷新网页

Block默认所占空间为128MB

22.停用服务

[root@lxm148 hadoop]# stop-all.sh

下次启动直接输入以下命令即可：

[root@lxm148 hadoop]# start-all.sh
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/352784
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号