当前位置:   article > 正文

虚拟机安装配置Hadoop(图文教程)_虚拟机安装hadoop

虚拟机安装hadoop

1. 前提准备

  1. 启动镜像 Init1.0
    在这里插入图片描述

  2. 检查是否安装 Hdoop 和 jdk

[niit@niit-master ~]$ java -version
  • 1
[niit@niit-master ~]$ hadoop version
  • 1

在这里插入图片描述

2. 安装hadoop和jdk

  1. 将 jdk、hadoop 上传到 /home/nitt
    直接将压缩文件拖到左侧目录栏即可
    在这里插入图片描述

  2. 解压 hadoop、jdk

[niit@niit-master ~]$ tar -zxvf hadoop-2.9.2.tar.gz
  • 1

在这里插入图片描述
解压完毕
在这里插入图片描述

[niit@niit-master ~]$ tar -zxvf jdk-8u231-linux-x64.tar.gz
  • 1

在这里插入图片描述
在这里插入图片描述

  1. 切换到 root
[niit@niit-master ~]$ su root
密码:
  • 1
  • 2

在这里插入图片描述

  1. 将解压的 hadoop 和 jdk 移动到 /usr/local/
    在这里插入图片描述
[root@niit-master niit]# mv jdk1.8.0_231/ /usr/local/
  • 1

在这里插入图片描述

[root@niit-master niit]# mv hadoop-2.9.2 /usr/local/
  • 1

在这里插入图片描述

  1. 进入 /usr/local 查看
[root@niit-master niit]# cd /usr/local/
  • 1

在这里插入图片描述

[root@niit-master local]# ll
  • 1

在这里插入图片描述

  1. 配置 hadoop 和 jdk 的环境配置
    进入 /etc/profile 文件
[root@niit-master local]# vi /etc/profile
  • 1

在这里插入图片描述

在文件最下面输入下述内容

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

更新配置文件到系统中

[root@niit-master jdk1.8.0_231]# source /etc/profile
  • 1

在这里插入图片描述

  1. 检查 jdk 和 hadoop 是否安装成功
[root@niit-master jdk1.8.0_231]# java -version
  • 1

在这里插入图片描述

[root@niit-master jdk1.8.0_231]# hadoop version
  • 1

在这里插入图片描述

3. 创建相关文件

[root@niit-master hadoop]# cd /opt
[root@niit-master opt]# ll
总用量 0
[root@niit-master opt]# mkdir hadoop
[root@niit-master opt]# cd hadoop/
[root@niit-master hadoop]# mkdir tmp
[root@niit-master hadoop]# mkdir namenode
[root@niit-master hadoop]# mkdir datanode
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

在这里插入图片描述

4. hadoop配置

[root@niit-master hadoop]# pwd
/usr/local/hadoop-2.9.2/etc/hadoop
  • 1
  • 2

在这里插入图片描述

  1. 配置 hadoop-env.sh 文件
[root@niit-master hadoop]# vi hadoop-env.sh
  • 1

在这里插入图片描述

export JAVA_HOME={JAVA_HOME} 更改为
在这里插入图片描述

export JAVA_HOME=/usr/local/jdk1.8.0_231
  • 1

在这里插入图片描述

  1. 配置 core-site.xml 文件
[root@niit-master hadoop]# vi core-site.xml
  • 1

在这里插入图片描述

<configuration></configuration> 中间加入下面代码

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
</property>

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://192.168.56.104:9000</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

在这里插入图片描述

  1. 配置 hdfs-site.xml 文件
[root@niit-master hadoop]# vi hdfs-site.xml
  • 1

在这里插入图片描述

<configuration></configuration> 中间加入下面代码

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/hadoop/namenode</value>
  <description>指定namenode文件夹位置位置 </description>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/hadoop/datanode</value>
  <description>datanode文件夹位置位置</description>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

在这里插入图片描述

  1. 配置 mapred-site.xml 文件
    没有 mapred-site.xml 文件,需要 mapred-site.xml.template 重命名为 mapred-site.xml
[root@niit-master hadoop]# mv mapred-site.xml.template mapred-site.xml
  • 1

在这里插入图片描述

[root@niit-master hadoop]# vi mapred-site.xml
  • 1

在这里插入图片描述

<configuration></configuration> 中间加入下面代码

<property>
        <name>maperduce.framework.name</name>
        <value>yarn</value>
</property>
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

  1. 配置 yarn-site.xml 文件
[root@niit-master hadoop]# vi yarn-site.xml
  • 1

在这里插入图片描述

<configuration></configuration> 中间加入下面代码

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

5. 启动hadoop

  1. 初始化 hadoop
[root@niit-master hadoop]# hdfs namenode -format
  • 1

在这里插入图片描述
出现 successfully 说明初始化 hadoop 成功
在这里插入图片描述

  1. 查看进程
[root@niit-master hadoop]# jps
  • 1

在这里插入图片描述

  1. 启动 hadoop
[root@niit-master hadoop]# start-all.sh
  • 1

在这里插入图片描述
对于出现的询问,全部输入 yes 和密码即可在这里插入图片描述

  1. 再次查看进程
[root@niit-master hadoop]# jps
  • 1

在这里插入图片描述

  1. 查看网址
    在网页上输入:192.168.56.104:50070 查看是否可以打开网页

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/428015
推荐阅读
相关标签
  

闽ICP备14008679号