devbox
从前慢现在也慢
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Centos6.4Hadoop集群的搭建_厦门下雪林子雨教程

作者：从前慢现在也慢 | 2024-08-01 02:17:15

赞

踩

厦门下雪林子雨教程

本文是本人按照厦门大学林子雨老师的教程然后自己在搭建hadoop集群的时候所做的一个博客教程，意在帮助更多的人。厦门大学林子雨老师的教程地址:http://dblab.xmu.edu.cn/post/7586/

1.首先打开一个全新的虚拟机系统,centos6.4版本如下图所示(同时打开终端):

2.然后第一步创建hadoop用户(并且给用户设置密码):

3.给hadoop用户添加权限:输入visudo进入,然后找到下图位置，添加下图画红色线的内容，然后保存并退出

4.然后切换Hadoop用户登陆

5.使用 hadoop 用户登录后，还需要安装几个软件才能安装 Hadoop。所以先要给虚拟机配置网络。连接网络后，需要安装 SSH 和 Java。

5.1安装ssh、配置ssh无密码登陆

1.集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验：

rpm -qa | grep ssh

返回的结果如下入所示，包含了ssh sclien和ssh server，则不需要再安装。如果需要安装:输入若需要安装，则可以通过 yum 进行安装（安装过程中会让你输入 [y/N]，输入 y 即可）：

  1. sudo yum install openssh-clients
  2. sudo yum install openssh-server

2.接着可以指向如下命令测试一下ssh是否可用:  SSH localhost

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口。然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

  1. exit # 退出刚才的 ssh localhost
  2. cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
  3. ssh-keygen -t rsa # 会有提示，都按回车就可以
  4. cat id_rsa.pub >> authorized_keys # 加入授权
  5. chmod 600 ./authorized_keys # 修改文件权限

~的含义

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。此时再用 

ssh localhost 

命令，无需输入密码就可以直接登陆了，如下图所示。

5.2安装Java环境

1.安装java-jdk环境前可以先查看自己本机所带的jdk，使用:

java -version 

命令查看，查看jdk信息:

rpm -qa | grep jdk

然后可以先把自己本机所带的jdk全部卸载了。如下图所示:

2.Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，现在一般 Linux 系统默认安装的基本是 OpenJDK，如 CentOS 6.4 就默认安装了 OpenJDK 1.7。按 http://wiki.apache.org/hadoop/HadoopJavaVersions 中说的，Hadoop 在 OpenJDK 1.7 下运行是没问题的。需要注意的是，CentOS 6.4 中默认安装的只是 Java JRE，而不是 JDK，为了开发方便，我们还是需要通过 yum 进行安装 JDK，安装过程中会让输入 [y/N]，输入 y 即可：

sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

出现下图证明实在安装

通过上述命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/java-1.7.0-openjdk（该路径可以通过执行 rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac' 命令确定，执行后会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了）。OpenJDK 安装后就可以直接使用 java、javac 等命令了。首先我们去到/usr/lib/jvm这个文件加使用命令

cd /usr/lib/jvm

然后使用 ls 查看当前目录的所有文件

接着我们改一下下图中圈起来的文件的名字改为:java-1.7.0-openjdk,使用下面的命令:

sudo mv java-1.7.0-openjdk-1.7.0.191.x86_64 java-1.7.0-openjdk

然后ls查看是否修改成功，如下图:

接着需要配置一下 JAVA_HOME 环境变量。输入命令

vim ~/.bashrc

在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk

接着还需要让该环境变量设置生效,执行如下代码:

source  ~/.bashrc

设置好后我们来检验一下是否设置正确：

  1. echo $JAVA_HOME    #检验变量值
  2. java -version
  3. $JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

如果出现输入java -version，输出下图所示，

则按输入

sudo vim /etc/profile 

第一次输入密码，进入文件后添加下面图面中的代码:注意路径问题：

然后输入命令

source /etc/profile

使文件生效，然后输入下面的命令会出现下图所示:则环境变量配置成功:

  1. echo $JAVA_HOME    #检验变量值
  2. java -version
  3. $JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

5.3安装hadoop2

  1. Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载下载时请下载 hadoop-2.x.y.tar.gz这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

这里下载Hadoop-2.6.5这个版本；

2.我在/home/hadoop文件夹下创建了一个文件加azb(可以使用图形化界面创建这个文件夹)，里面是hadoop的压缩包如下图:

3.现在开始解压缩，执行下面的shell代码我们选择将 Hadoop 安装至 /usr/local/

  1. sudo tar -zxf hadoop-2.6.5.tar.gz -C /usr/local    # 解压到/usr/local中
  2. cd /usr/local/
  3. sudo mv ./hadoop-2.6.5/ ./hadoop            # 将文件夹名改为hadoop
  4. sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

4.Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息:

  1. cd /usr/local/hadoop
  2. ./bin/hadoop version

5.4 Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行

 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

  1. cd /usr/local/hadoop
  2. mkdir ./input
  3. cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
  4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
  5. cat ./output/*          # 查看运行结果

下面是运行后的界面:

若运行出错，如出现如下图提示：

若出现提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”，该 WARN 提示可以忽略，不会影响 Hadoop 正常运行（可通过编译 Hadoop 源码解决，解决方法请自行搜索）。下面是成功的界面:

5.5hadoop伪分布式的配置

hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：

gedit ~/.bashrc

这次我们选择用 gedit 而不是 vim 来编辑。gedit 是文本编辑器，类似于 Windows 中的记事本，会比较方便。保存后记得关掉整个 gedit 程序，否则会占用终端。在文件最后面增加如下内容：

  1. # Hadoop Environment Variables
  2. export HADOOP_HOME=/usr/local/hadoop
  3. export HADOOP_INSTALL=$HADOOP_HOME
  4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  5. export HADOOP_COMMON_HOME=$HADOOP_HOME
  6. export HADOOP_HDFS_HOME=$HADOOP_HOME
  7. export YARN_HOME=$HADOOP_HOME
  8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  9. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，不要忘记执行如下命令使配置生效：

source ~/.bashrc

这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml

 gedit ./etc/hadoop/core-site.xml

将当中的<configuration></configuration>

修改为下面配置：

  1. <configuration>
  2.  
  3. <property>
  4.  
  5.     <name>hadoop.tmp.dir</name>
  6.  
  7.     <value>file:/usr/local/hadoop/tmp</value>
  8.  
  9.     <description>Abase for other temporary directories.</description>
  10.  
  11. </property>
  12.  
  13. <property>
  14.  
  15.     <name>fs.defaultFS</name>
  16.  
  17.     <value>hdfs://localhost:9000</value>
  18.  
  19. </property>
  20.  
  21. </configuration>

同样的，修改配置文件 hdfs-site.xml：

gedit hdfs-site.xml
  1. <configuration>
  2.  
  3. <property>
  4.  
  5.     <name>dfs.replication</name>
  6.  
  7.     <value>1</value>
  8.  
  9. </property>
  10.  
  11. <property>
  12.  
  13.     <name>dfs.namenode.name.dir</name>
  14.  
  15.     <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  16.  
  17. </property>
  18.  
  19. <property>
  20.  
  21.     <name>dfs.datanode.data.dir</name>
  22.  
  23.     <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  24.  
  25. </property>
  26.  
  27. </configuration>

配置完成后，执行 NameNode 的格式化:

首先

  1. cd ~ 
  2. cd /usr/local/hadoop/bin
  3. hdfs namenode -format

如果出现下图界面则表示成功，成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

接着开启 NaneNode 和 DataNode 守护进程：

  1. cd /usr/local/hadoop/sbin 
  2. start-dfs.sh

若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。启动时可能会有 WARN 提示 “WARN util.NativeCodeLoader…” 如前面提到的，这个提示不会影响正常使用。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

5.6运行hadoo伪分布式实例

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：首先进入使用命令进入bin目录

  1. cd  /usr/local/hadoop/bin
  2. hdfs dfs -mkdir -p /user/hadoop 

如果出现那上面的警告不用管。接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:(当前是在bin目录下)

  1. cd /usr/local/hadoop  #切换目录:
  2. ./bin/hdfs dfs -mkdir input
  3. ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看 HDFS 中的文件列表：

./bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

./bin/hdfs dfs -cat output/*

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

我们也可以将运行结果取回到本地：

  1. rm -r ./output # 先删除本地的 output 文件夹（如果存在）
  2. ./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机
  3. cat ./output/*

Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹

./bin/hdfs dfs -rm -r output # 删除 output 文件夹

若要关闭 Hadoop，则运行

./sbin/stop-dfs.sh

注意

下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

5.7启动YARM

（伪分布式不启动 YARN 也可以，一般不会影响程序执行）

有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。

上述通过

 ./sbin/start-dfs.sh 

启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：

首先进入使用命令进入配置文件所在目录:

cd /usr/local/hadoop/etc/hadoop

接着输入

mv mapred-site.xml.template mapred-site.xml

然后再进行编辑，同样使用 gedit 编辑会比较方便些：

 gedit  mapred-site.xml 
  1. <configuration>
  2.  
  3.     <property>
  4.  
  5.         <name>mapreduce.framework.name</name>
  6.  
  7.         <value>yarn</value>
  8.  
  9.     </property>
  10.  
  11. </configuration>

接着修改配置文件 yarn-site.xml:

 gedit yarn-site.xml
  1. <configuration>
  2.  
  3.     <property>
  4.  
  5.         <name>yarn.nodemanager.aux-services</name>
  6.  
  7.         <value>mapreduce_shuffle</value>
  8.  
  9.         </property>
  10.  
  11. </configuration>

然后就可以启动 YARN 了

  1. cd /usr/local/sbin 
  2. start-yarn.sh      $ 启动YARN
  3. mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

开启后通过

 jps 

查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster。

Hadoop集群的安装与配置

1.环境:

1.1首先讲上面配置好的虚拟机克隆出来三台三台虚拟机的名字分别为Master，Slave1，Slave2，然后同时打开这三台虚拟机，然后给这三台虚拟机配置网络:如下图所示:

2.准备工作

Hadoop 集群的安装配置大致为如下流程:

  1. 选定一台机器作为 Master
  2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  3. 在 Master 节点上安装 Hadoop，并完成配置
  4. 在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  5. 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
  6. 在 Master 节点上开启 Hadoop

配置 hadoop 用户、安装 SSH server、安装 Java 环境、安装 Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置 配置过了。

首先在 Master 节点上完成准备工作，并关闭 Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh)，再进行后续集群配置。为了便于区分，可以修改各个节点的主机名（在终端标题、命令行中可以看到主机名，以便区分）。在 Ubuntu/CentOS 7 中，我们在 Master 节点上执行如下命令修改主机名（即改为 Master，注意是区分大小写的）如果是用 CentOS 6.x 系统，则是修改 /etc/sysconfig/network 文件，改为 HOSTNAME=Master，咱们用的是Centos6.4所以使用

sudo vim  /etc/sysconfig/network

命令修改主机名如下图所示：

然后执行如下命令修改自己所用节点的IP映射：(在master节点上)

sudo vim /etc/hosts

例如本教程使用两个节点的名称与对应的 IP 关系如下：

  1. 192.168.235.110   Master
  2. 192.168.235.111   Slave1
  3. 192.168.235.112   Slave2

需要用到的三个虚拟机中都是下图这样的配置,

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。接下来的教程中请注意区分 Master 节点与 Slave 节点的操作。配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

  1. ping Master -c 3 # 只ping 3次，否则要按 Ctrl+c 中断
  2. ping Slave1 -c 3
  3. ping Slave2 -c 3

例如我在 Master 节点上 ping Slave1,Slave2，ping 通的话会显示 time，显示的结果如下图所示：

继续下一步配置前，请先完成所有节点的网络配置，修改过主机名的话需重启才能生效。

3.ssh无密码登陆节点

这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）：

  1. cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
  2. rm ./id_rsa* # 删除之前生成的公匙（如果有）
  3. ssh-keygen -t rsa # 一直按回车就可以

让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

cat ./id_rsa.pub >> ./authorized_keys

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1 和 Slave2节点：

  1. scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
  2. scp ~/.ssh/id_rsa.pub hadoop@Slave2:/home/hadoop/

scp 是 secure copy 的简写，用于在 Linux 下进行远程拷贝文件，类似于 cp 命令，不过 cp 只能在本机中拷贝。执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码(hadoop)，输入完成后会提示传输完毕，如下图所示：

接着在 Slave1,Slave2 节点上，将 ssh 公匙加入授权：

  1. mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略
  2. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  3. rm ~/id_rsa.pub # 用完就可以删掉了

这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了，可在 Master 节点上执行如下命令进行检验，如下图所示：

  1. ssh Slave1
  2. ssh Slave2

4.配置PATH变量

（CentOS 单机配置 Hadoop 的教程中有配置这一项了，这一步可以跳过）

在单机伪分布式配置教程的最后，说到可以将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，如果还没有配置的，需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc，加入一行：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

5.配置集群/分布式环境

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1, 文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，点也可以删掉，让 Master 节仅作NameNode 使用。本教程让 Master 节点即作为 NameNode 也作为 DataNode。如果你想让Master 节点仅仅作为NameNode可以删除localhost。

  1. cd /usr/local/hadoop/etc/hadoop 
  2. vim slaves

2, 文件 core-site.xml 改为下面的配置：

gedit core-site.xml
  1. <configuration>
  2.  
  3.         <property>
  4.  
  5.                 <name>fs.defaultFS</name>
  6.  
  7.                 <value>hdfs://Master:9000</value>
  8.  
  9.         </property>
  10.  
  11.         <property>
  12.  
  13.                 <name>hadoop.tmp.dir</name>
  14.  
  15.                 <value>file:/usr/local/hadoop/tmp</value>
  16.  
  17.                 <description>Abase for other temporary directories.</description>
  18.  
  19.         </property>
  20.  
  21. </configuration>

3, 文件 hdfs-site.xml，dfs.replication 一般设为 3，意思是hdfs文件块的副本的个数，这里设为2也行。

gedit hdfs-site.xml
  1. <configuration>
  2.  
  3.         <property>
  4.  
  5.                 <name>dfs.namenode.secondary.http-address</name>
  6.  
  7.                 <value>Master:50090</value>
  8.  
  9.         </property>
  10.  
  11.         <property>
  12.  
  13.                 <name>dfs.replication</name>
  14.  
  15.                 <value>3</value>
  16.  
  17.         </property>
  18.  
  19.         <property>
  20.  
  21.                 <name>dfs.namenode.name.dir</name>
  22.  
  23.                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  24.  
  25.         </property>
  26.  
  27.         <property>
  28.  
  29.                 <name>dfs.datanode.data.dir</name>
  30.  
  31.                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  32.  
  33.         </property>
  34.  
  35. </configuration>

4, 文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template如果不需要不用重命名），然后配置修改如下：

gedit mapred-site.xml 
  1. <configuration>
  2.  
  3.         <property>
  4.  
  5.                 <name>mapreduce.framework.name</name>
  6.  
  7.                 <value>yarn</value>
  8.  
  9.         </property>
  10.  
  11.         <property>
  12.  
  13.                 <name>mapreduce.jobhistory.address</name>
  14.  
  15.                 <value>Master:10020</value>
  16.  
  17.         </property>
  18.  
  19.         <property>
  20.  
  21.                 <name>mapreduce.jobhistory.webapp.address</name>
  22.  
  23.                 <value>Master:19888</value>
  24.  
  25.         </property>
  26.  
  27. </configuration>

5, 文件 yarn-site.xml：

gedit yarn-site.xml
  1. <configuration>
  2.  
  3.         <property>
  4.  
  5.                 <name>yarn.resourcemanager.hostname</name>
  6.  
  7.                 <value>Master</value>
  8.  
  9.         </property>
  10.  
  11.         <property>
  12.  
  13.                 <name>yarn.nodemanager.aux-services</name>
  14.  
  15.                 <value>mapreduce_shuffle</value>
  16.  
  17.         </property>
  18.  
  19. </configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

  1. cd /usr/local
  2. sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
  3. sudo rm -r ./hadoop/logs/*   # 删除日志文件
  4. tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
  5. cd ~
  6. scp ./hadoop.master.tar.gz Slave1:/home/hadoop
  7. scp ./hadoop.master.tar.gz Slave2:/home/hadoop

在 Slave1 节点上执行：

  1. sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
  2. sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
  3. sudo chown -R hadoop /usr/local/hadoop

在 Slave2 节点上执行：

  1. sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
  2. sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
  3. sudo chown -R hadoop /usr/local/hadoop

同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

CentOS系统需要关闭防火墙

CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。

在 CentOS 6.x 中，可以通过如下命令关闭防火墙：

  1. sudo service iptables stop   # 关闭防火墙服务
  2. sudo chkconfig iptables off  # 禁止防火墙开机自启，就不用手动关闭了

若用是 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）：

  1. systemctl stop firewalld.service    # 关闭firewall
  2. systemctl disable firewalld.service # 禁止firewall开机启动

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

  1. start-dfs.sh
  2. start-yarn.sh
  3. mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：

在 Slave 节点可以看到 DataNode 和 NodeManager 进程，如下图所示：

缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令

 hdfs dfsadmin -report 

查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 3个 Datanodes：

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态：http://master:50070/。如果不成功，可以通过启动日志排查原因。

伪分布式、分布式配置切换时的注意事项

1, 从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
2, 在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

6.执行分布式实例

执行分布式实例过程与伪分布式模式一样，首先创建 HDFS 上的用户目录：

hdfs dfs -mkdir -p /user/hadoop

将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：

  1. hdfs dfs -mkdir input
  2. hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

通过查看 DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中，如下图所示：

着就可以运行 MapReduce 作业了：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示 Job 的进度。

可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。

同样可以通过 Web 界面查看任务进度 http://master:8088/cluster，在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息，如下图所示：

执行完毕后的输出结果：

关闭 Hadoop 集群也是在 Master 节点上执行的：

  1. stop-yarn.sh
  2. stop-dfs.sh
  3. mr-jobhistory-daemon.sh stop historyserver

此外，同伪分布式一样，也可以不启动 YARN，但要记得改掉 mapred-site.xml 的文件名。

自此，你就掌握了 Hadoop 的集群搭建与基本使用了。

 

 

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/911830?site
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号