虚拟机安装配置Hadoop（图文教程）_虚拟机安装hadoop

1. 前提准备

1. 启动镜像 Init1.0
   

2. 检查是否安装 Hdoop 和 jdk

[niit@niit-master ~]$ java -version
1

[niit@niit-master ~]$ hadoop version
1

2. 安装hadoop和jdk

1. 将 jdk、hadoop 上传到 /home/nitt
   直接将压缩文件拖到左侧目录栏即可
   

2. 解压 hadoop、jdk

[niit@niit-master ~]$ tar -zxvf hadoop-2.9.2.tar.gz
1

解压完毕

[niit@niit-master ~]$ tar -zxvf jdk-8u231-linux-x64.tar.gz
1

3. 切换到 root

[niit@niit-master ~]$ su root
密码：
1
2

4. 将解压的 hadoop 和 jdk 移动到 /usr/local/
   

[root@niit-master niit]# mv jdk1.8.0_231/ /usr/local/
1

[root@niit-master niit]# mv hadoop-2.9.2 /usr/local/
1

5. 进入 /usr/local 查看

[root@niit-master niit]# cd /usr/local/
1

[root@niit-master local]# ll
1

6. 配置 hadoop 和 jdk 的环境配置
   进入 /etc/profile 文件

[root@niit-master local]# vi /etc/profile
1

在文件最下面输入下述内容

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
3
4

更新配置文件到系统中

[root@niit-master jdk1.8.0_231]# source /etc/profile
1

7. 检查 jdk 和 hadoop 是否安装成功

[root@niit-master jdk1.8.0_231]# java -version
1

[root@niit-master jdk1.8.0_231]# hadoop version
1

3. 创建相关文件

[root@niit-master hadoop]# cd /opt
[root@niit-master opt]# ll
总用量 0
[root@niit-master opt]# mkdir hadoop
[root@niit-master opt]# cd hadoop/
[root@niit-master hadoop]# mkdir tmp
[root@niit-master hadoop]# mkdir namenode
[root@niit-master hadoop]# mkdir datanode
1
2
3
4
5
6
7
8

4. hadoop配置

[root@niit-master hadoop]# pwd
/usr/local/hadoop-2.9.2/etc/hadoop
1
2

1. 配置 hadoop-env.sh 文件

[root@niit-master hadoop]# vi hadoop-env.sh
1

将 export JAVA_HOME={JAVA_HOME} 更改为

export JAVA_HOME=/usr/local/jdk1.8.0_231
1

2. 配置 core-site.xml 文件

[root@niit-master hadoop]# vi core-site.xml
1

在 <configuration></configuration> 中间加入下面代码

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
</property>

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://192.168.56.104:9000</value>
</property>
1
2
3
4
5
6
7
8
9
10
11

3. 配置 hdfs-site.xml 文件

[root@niit-master hadoop]# vi hdfs-site.xml
1

在 <configuration></configuration> 中间加入下面代码

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/hadoop/namenode</value>
  <description>指定namenode文件夹位置位置 </description>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/hadoop/datanode</value>
  <description>datanode文件夹位置位置</description>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

4. 配置 mapred-site.xml 文件
   没有 mapred-site.xml 文件，需要 mapred-site.xml.template 重命名为 mapred-site.xml

[root@niit-master hadoop]# mv mapred-site.xml.template mapred-site.xml
1

[root@niit-master hadoop]# vi mapred-site.xml
1

在 <configuration></configuration> 中间加入下面代码

<property>
        <name>maperduce.framework.name</name>
        <value>yarn</value>
</property>
1
2
3
4

5. 配置 yarn-site.xml 文件

[root@niit-master hadoop]# vi yarn-site.xml
1

在 <configuration></configuration> 中间加入下面代码

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
1
2
3
4

5. 启动hadoop

1. 初始化 hadoop

[root@niit-master hadoop]# hdfs namenode -format
1

出现 successfully 说明初始化 hadoop 成功

2. 查看进程

[root@niit-master hadoop]# jps
1

3. 启动 hadoop

[root@niit-master hadoop]# start-all.sh
1

对于出现的询问，全部输入 yes 和密码即可

4. 再次查看进程

[root@niit-master hadoop]# jps
1

6. 查看网址
   在网页上输入：192.168.56.104:50070 查看是否可以打开网页