Linux下Hadoop的安装_linux系统安装hadoop

系列文章目录

只有已完成的部分
Hadoop Local模式的配置
Hadoop伪分布式模式的配置（已完成）
Hadoop分布式模式的配置

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

这是Hadoop的安装指南，你可以在系列文章目录中找到其他模式的配置

---

以下是本篇文章正文内容

一、Hadoop是什么？

官网的介绍
Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。

二、安装步骤

1.官网下载安装包解压至本地

Apache Hadoop官网下载页面

以Hadoop2.7.5版本为例
准备好安装文件

解压安装包

tar -zxvf hadoop-2.7.5.tar.gz
1

执行完后，在当前的目录下会出现一个名为 hadoop-2.7.5 的文件目录，这个目录就是 hadoop 的安装目录。

在 Hadoop 中包含了 3 个技术组件，分别是：

• 分布式存储技术 - HDFS
• 分布式资源管理技术 - Yarn
• 分布式计算技术 - MapReduce

那么，我们常说的 Hadoop 安装，实际上就包含了 HDFS 的安装、Yarn 的安装以及 MapReduce 的安装，我们接下来分别配置安装。

2.JDK安装

使用如下命令直接安装

sudo apt-get install openjdk-8-jdk #ubuntu
sudo yum install openjdk-8-jdk #如果你使用yum，用它
1
2

这是最省事的方式，但这样安装你会使用默认配置（这意味着你以后配置JAVA_HOME时会有点麻烦）
检查jdk版本，是否安装成功

java -version
1

成功后如上图。

刚说了这种方式安装找安装目录会有些麻烦，你可以看我的这篇文章
=>Linux中定位JAVAHOME

3.Hadoop的安装

把Hadoop放到/usr/local下，并创建软连接

sudo mv hadoop-2.7.5 /usr/local
sudo ln -snf /usr/local/hadoop-2.7.5/ /usr/local/hadoop
1
2

给Hadoop文件夹赋予权限（生产环境不推荐）

chmod -R 777 hadoop-2.7.5/
1

配置环境变量

• 局部环境变量：~/.bashrc
• 全局环境变量：/etc/profile
  用vim去打开文件配置，这个东西不用赘述了
  这里我图方便配置全局了

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:./:$JAVA_HOME/bin

#JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib
1
2
3
4
5
6
7

配置后生效一下

source /etc/profile
1

输入Hadoop的命令，你将看到

说明Hadoop安装好了，现在开始配置伪分布式

4.伪分布式配置

配置Hadoop运行环境

在$HADOOP_HOME/conf/目录下

1. 修改hadoop_env.sh

   # The java implementation to use.
   #export JAVA_HOME=${JAVA_HOME}
   export JAVA_HOME=$JAVA_HOME
   1
   2
   3

2. 修改core-site.xml

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://192.168.59.140:9000</value>
       </property>
   </configuration>
   1
   2
   3
   4
   5
   6

3. hdfs-site.xml

   <configuration>
           <property>
                   <name>dfs.nameservices</name>
                   <value>hadoop-cluster</value>
           </property>
           <property>
                   <name>dfs.namenode.name.dir</name>
                   <value>file:///data/hadoop/hdfs/nn</value>
           </property>
           <property>
                   <name>dfs.namenode.checkpoint.dir</name>
                   <value>file:///data/hadoop/hdfs/snn</value>
           </property>
           <property>
                   <name>dfs.namenode.checkpoint.edits.dir</name>
                   <value>file:///data/hadoop/hdfs/snn</value>
           </property>
           <property>
                   <name>fs.datanode.data.dir</name>
   #注意这里的name中dfs少了开头的d，正常来说是dfs，但是只有换成fs才能成功，不知为何
                   <value>file:///data/hadoop/hdfs/dn</value>
           </property>
   </configuration>
   
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   20
   21
   22
   23
   24

4. mapred-site.xml
   在hadoop的相关目录中没有此文件，但是有一个mapred-site.xml.template文件，将该文件复制一份为mapred-site.xml

   cp mapred-site.xml.template mapred-site.xml
   1

   编辑mapred-site.xml

   <configuration>
           <property>
                   <name>mapreduce.framework.name</name>
                   <value>yarn</value>
           </property>
   </configuration>
   
   1
   2
   3
   4
   5
   6
   7

5. yarn-site.xml

   <configuration>
           <!-- 指定ResourceManager的地址-->
           <property>
                   <name>yarn.resourcemanager.hostname</name>
                   <value>192.168.59.140</value>
           </property>
           <!-- 指定reducer获取数据的方式-->
           <property>
                   <name>yarn.nodemanager.aux-services</name>
                   <value>mapreduce_shuffle</value>
           </property>
           <property>
                   <name>yarn.nodemanager.local-dirs</name>
                   <value>file:///data/hadoop/yarn/nm</value>
           </property>
   </configuration>
   
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17

6. 创建相关目录

   sudo mkdir -p /data/hadoop/hdfs/nn
   sudo mkdir -p /data/hadoop/hdfs/dn
   sudo mkdir -p /data/hadoop/hdfs/snn
   sudo mkdir -p /data/hadoop/yarn/nm
   1
   2
   3
   4

   同时给予权限

   sudo chmod -R 777 /data/
   1

7. 对HDFS集群进行格式化，HDFS集群是用来存储数据的。

   hdfs namenode -format
   1

   

三、启动集群

1. 启动HDFS集群

   hadoop-daemon.sh start namenode #启动主节点
   hadoop-daemon.sh start datanode #启动从节点
   1
   2

   

2. 启动YARN集群

   yarn-daemon.sh start resourcemanager
   yarn-daemon.sh start nodemanager
   1
   2

   

3. 启动作业历史服务器

   mr-jobhistory-daemon.sh start historyserver
   1

   

上述命令也可以用start-all.sh(新版本中已弃用)或者start-dfs.sh加上start-yarn.sh代替

jps可以查看是否启动成功
下面的，一个都不能少

hengxing@hengxing:/usr/local/spark/sbin$ jps
58307 NameNode
58473 ResourceManager
58796 JobHistoryServer
58733 NodeManager
58878 Jps
58399 DataNode
1
2
3
4
5
6
7

也可以在浏览器的ui界面查看，网址见截图

正常情况下是有一个Datanode的

用自带的圆周率程序测试一下

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 4 100
1

---

总结

安装的时候要万分注意自己的环境变量和其中各种IP端口号的配置，这些是决定服务是否成功的关键