Hadoop简介与完全分布式集群的搭建（详版）(VMWare,centos)_vmware与hadoop的关系

目录

Hadoop简介与完全分布式集群的搭建（详版）

Hadoop简介：

1．Hadoop是什么：

2．Hadoop解决什么：

3．Hadoop 生态圈：

4．Hadoop 1.x,2.x,3.x组成：

Hadoop组件介绍

Yarn ：另一种资源协调者，Hadoop的资源管理器

MapReduce：分为map,reduce两个阶段

Yarn，Mapreduce，HDFS之间的关系：

HDFS组件：万一Name Node挂了，2NN作为秘书也可以知道数据存储在什么位置

Hadoop组件之间的工作关系：

搭建分布式集群

  2.Centos安装

3.配置IP地址

5JDK，Hadoop3.1.3安装

6.rsync指令

9. 群起集群

10. 配置历史服务器

11. 配置日志的聚集

12. 集群启动/停止方式总结

13. 编写Hadoop集群常用脚本

14. 常用端口号说明

15. 集群时间同步

16.常见错误及解决方案

---

Hadoop简介与完全分布式集群的搭建（详版）

Hadoop简介：

1．Hadoop是什么：

是由apache基金会所开发的分布式系统基础架构。

2．Hadoop解决什么：

解决海量数据的存储和海量数据的分析计算问题

3．Hadoop 生态圈：

 

4．Hadoop 1.x,2.x,3.x组成：

 

Hadoop组件介绍

Yarn ：另一种资源协调者，Hadoop的资源管理器

 

MapReduce：分为map,reduce两个阶段

 

Yarn，Mapreduce，HDFS之间的关系：

 

HDFS组件：万一Name Node挂了，2NN作为秘书也可以知道数据存储在什么位置

 

1.Name Node（NN）：存储文件元数据，如文件，文件目录结构，文件属性（生成时间，副本数，文件权限）以及每个文件的块列表

2.DataNode（dn）:在本地文件系统存储文件块数据，以及块数据的校验和。

3.secondary (2NN):每隔一段时间对Name Node元数据备份。

Hadoop组件之间的工作关系：

 

搭建分布式集群

1. VMware的安装：

下载网址：下载 VMware Workstation Pro | CN

点击立即下载

 

1. 安装前先关闭电脑管家等杀毒软件，避免配置写不进注册表，导致安装失败；
2. 找到下载好的VMware-workstation-full-16.1.1-17801498.exe文件，鼠标右击以管理员身份运行
3. 
4. 先勾选我接受许可协议中的条款，然后点击下一步
5. 选择软件安装路径，默认安装在C盘，点击更改可修改安装路径，注意：安装路径文件夹名称均不能含有中文字符！这里我将软件安装在D盘文件夹下，然后点击下一步
6. 用户体验设置取消勾选，点击下一步
7. 无脑下一步
8. 开始安装
9. 等待
10. 点击许可证
11. 可以选择输入密钥，或者跳过进行试用30天，密钥可以在网上搜索，
12. 以下可以试试

ZF3R0-FHED2-M80TY-8QYGC-NPKYF
YF390-0HF8P-M81RQ-2DXQE-M2UT6
ZF71R-DMX85-08DQY-8YMNC-PPHV8

 

        13.完成

 

  2.Centos安装

1.新建虚拟机

1. 硬件安装，打开VMware，点击创建虚拟机
2. 选择自定义安装，自定义更高级，可以根据用户喜好自定义功能
3. 直接下一步
4. 先不安装操作系统，先把硬件配好
5. 选择Linux操作系统，centos7,64位的，下一步
6. 更改虚拟机名称和位置
7. 打开资源管理器，查看cpu内核总数，将来克隆3台虚拟机，加上Windows的不能超过总的内核数目
8. 
9. 根据上面数的cpu核数。处理器固定为2，如果你的是16核的计算机，则每个处理器核数为2，8核的计算机每个处理器配核数1.  
10. 内存配置4个G
11. 网络配置
12. 使用默认推荐
13. 创建虚拟磁盘
14. 指定虚拟磁盘为50G，并不是把计算机磁盘的50G固定划分给了虚拟机，而是虚拟机磁盘容量上限50G，如果只用了10G，剩下的Windows操作系统一样可以用
15. 将磁盘文件放到之前命名的Hadoop100中
16. 虚拟机硬件配置完成

 

2．安装系统（centos7）

1.安装系统之前检查自己虚拟机的BIOS的虚拟化是否打开

（1）win10:

 

 

（2）win7系统要进入BIOS模式查看

如果没有开启虚拟化就安装会报错：

 

如果BIOS虚拟化没有开启，重启电脑，在加载界面时按f1-f10,，具体怎么进入得根据自己的型号查一下。

以下提供两个作者大大的链接：https://blog.csdn.net/qq_41460654/article/details/118026986?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164890658616780271538866%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164890658616780271538866&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-118026986.142^v5^pc_search_result_control_group,157^v4^control&utm_term=cpu%E8%99%9A%E6%8B%9F%E5%8C%96%E6%80%8E%E4%B9%88%E5%BC%80%E5%90%AF&spm=1018.2226.3001.4187

https://blog.csdn.net/wwzmvp/article/details/113807777?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164890648616782092916344%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164890648616782092916344&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-3-113807777.142^v5^pc_search_result_control_group,157^v4^control&utm_term=bios%E5%BC%80%E5%90%AF%E8%99%9A%E6%8B%9F%E5%8C%96&spm=1018.2226.3001.4187

仅供参考

1. 开启虚拟化后，下载镜像文件。下载链接：centos-7-isos-x86_64安装包下载_开源镜像站-阿里云

镜像文件说明

CentOS-7-x86_64-DVD-1708.iso 标准安装版（推荐）

CentOS-7-x86_64-Everything-1708.iso

完整版，集成所有软件（以用来补充系统的软件或者填充本地镜像）

CentOS-7-x86_64-LiveGNOME-1708.iso GNOME桌面版

CentOS-7-x86_64-LiveKDE-1708.iso KDE桌面版

CentOS-7-x86_64-Minimal-1708.iso 精简版，自带的软件最少

CentOS-7-x86_64-NetInstall-1708.iso 网络安装版（从网络安装或者救援系统）

我们下载标准版

 

1. 点击CD/DVD（IDE）光盘

 

1. 选择刚刚下载的光盘文件
2. 相当于系统盘以及插入了，直接启动
3. 单机进去
4. 开始安装，需要一点时间
5. 成功后跳转到语言选择页面
6. 下一步选择日期和时间

 

 

 

 

 

 

 

1. 软件选择安装，我们新手选择GNOME桌面（他有图形化页面，方便查看学习，但是我们也是用命令行操作），如果是大佬就可以直接选择最小安装，用命令行操作。

 

 

1. 配置磁盘分区 ，我们选择自己分配（如果不想自己分配，选择他的默认自动分配也行）

 

 

 

 

 

 

 

1. 配置kdump,系统软件奔溃时候，崩溃前夕可以备份一部分出去，kudmp就会开辟一部分内存来存储这个备份数据，我们学习阶段节省资源就关闭他，崩溃就崩溃，如果有需要开发可以选择开启kdump。
2. 配置网络和主机名称，后期会说怎么用命令行配置
3. Security policy保持默认打开就行
4. 开始安装，设置root密码，学习阶段设置简单一点，方便日后频繁输入，开发阶段可以复杂一点
5. 等待安装一段时间
6. 重启

 

 

 

安装完成

3.配置IP地址

1配置VMware的IP地址

1. 

 

1. 配置WindowsIP地址

1. 打开网络设置，点击网络适配器

1. 

最后确定关闭就行了

3.配置虚拟机的IP地址

1.打开终端

 

2.切换root用户操作

 

3.输入vim /etc/sysconfig/network-scripts/ifcfg-ens33   进入

 

 

4.对里面的东西进行更改

 

添加内容为：

IPADDR=192.168.10.100

GATEWAY=192.168.10.2

DNS1=192.168.10.2

更改之后

 

输入更改完成之后，按Esc键，然后输入:wq（冒号要输入，如果文件是只读，可以输入：wq!强制保存退出）保存退出

5.配置虚机名称

进入命令：vim /etc/hostname

是hadoop100就行

 

6.然后配置虚机名称映射，作用是用一个名称来代替192.168.10.100，因为如果没有映射，很多程序里面存储了这个IP地址，以后一旦更改IP地址，这些程序都要一个一个找出来更改，很麻烦，只需要用一个映射来代替IP地址用在程序里面即可，IP地址更改，映射照常对应IP地址，程序照常运行。

输入命令：vim /etc/hosts   进入

添加内容：（因为后期最多可能用到8台服务器）

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

 

然后按Esc ,输入:wq保存退出

7.重启，结束之后输入：reboot后回车重启。

 

 

 

 

进入之后和之前的操作一样，前进就行，然后打开命令终端，验证我们的IP地址。输入 ifconfig

 

再ping一下外网看看能不能ping通

输入 ping www.baidu.com

 

输入hostname查看主机名称，是hadoop100就圆满成功

 

1. 远程操作服务器

1. 使用xshell,或者mobaxterm
2. 下载使用mobaxterm

 

1. 推荐这位博主的mobaxterm博客下载安装 https://blog.csdn.net/qq_44074697/article/details/118544904?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164898434416780264079383%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164898434416780264079383&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-118544904.142^v5^pc_search_result_control_group,157^v4^control&utm_term=mobaxterm%E4%B8%8B%E8%BD%BD&spm=1018.2226.3004187
2. 打开mobaxterm 连接hadoop100，用havtl账户登入

 

输入账号（使用havtl）和密码

 

保存密码

 

成功连接

 

1. 设置主机映射

1.在Windows系统下找到C:\Windows\System32\drivers\etc下的host文件，添加：

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

如果是win7系统，可以直接记事本打开编辑，保存即可，win10有的会出现权限不够的情况，就可以把这个文件复制到桌面，然后更改完成再移动到C:\Windows\System32\drivers\etc 替换hosts。

 

 

1. 模板虚拟机以及克隆

1. 配置模板虚拟机环境

1. 切换root用户，输入su root,输入密码。Cd切换根目录 然后ping www.baidu.com。测试能不能上网，接下来要用yum下载一个软件仓库epel-release。输入 yum install -y epel-release。下载即可。

 

 

1. 注意如果Linux安装的是最小系统版，还需要安装下面的根据，如果是桌面版的则不需要执行以下操作

net-tool ：工具包集合，包含ifconfig等命令

yum install -y net-tools

vim：编辑器

yum install -y vim

1. 关闭防火墙，关闭防火墙开机自启

1：systemctl stop firewalld

2：systemctl disable firewalld.service

 

1. 我们给havtl用户赋予root权限，方便日后加sudo执行root权限的命令

输入命令：vim /etc/sudoers ,修改/etc/sudoers文件，在%wheel这行下面加一行，完成之后:wq!保存退出

注意: atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以 atguigu要放到%wheel这行下面。

 

然后按照以下命令测试：

 

5. 卸载虚拟机自带的JDK

注意:如果你的虚拟机是最小化安装不需要执行这一步。

切换root用户删除

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1. rpm -ga:查询所安装的所有rpm软件包
2. grep -i: 忽略大小写
3. xargs -nl:表示每次只传递一个参数
4. rpm -e -nodeps :强制卸载软件
5. 重启虚拟机

[ root@hadoop100~]# reboot

 

1. 克隆3台虚拟机

克隆出hadoop102,hadoop103,hadoop104,更改IP地址和主机名称。

 

1. 关闭虚机

         

1. 克隆虚机

1. 

 

然后 hadoop103，104，也按照这样的方法克隆。

1. 学会移除和删除虚机

1. 移除，只会在VMware界面删除，在磁盘文件还在，彻底删除需要右击Hadoop100，选择管理，从磁盘移除。

1. 更改克隆虚机的IP地址和主机名称

1. 启动Hadoop102，
2. 进去桌面之后，右击桌面，打开终端，修改IP地址，和hadoop100改IP地址一样

 

输入：vim /etc/sysconfig/network-scripts/ifcfg-ens33 ，把IP改称102.

 

1. 再输入：vim /etc/hostname，更改主机名称
2. 然后reboot，重启虚机，查看IP地址，主机名称有没有正确改正，再ping一下外网看有没有用。
3. 接下来hadoop103,104,也按照上面流程更改IP地址和主机名称
4. 然后再按照之前的方法在mobaxterm上面配置好hadooop102,103,104的远程连接

 

5JDK，Hadoop3.1.3安装

1. 在hadoop102上安装jdk

1. 先将jdk8和Hadoop的jar包上传到Hadoop102，再从102拷贝到103，104.

链接：https://pan.baidu.com/s/1OLuj6yuCNqgQXigkH6EsTQ?pwd=havt

提取码：havt

在里面有一些用到的资料，jdk8和hadoop313在jar包文件夹里面。

 

 

2.然后输入：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 。把jdk解压安装在module文件夹。

 

3.配置jdk环境变量

输入：cd /etc/profile.d/。里面的sh文件，在机器启动的时候都会加载一下。我们自己创建一个自己的环境变量文件my_env.sh。在命令里面输入：sudo vim my_env.sh。

在文件里面输入：

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

 

 

然后再输入：source /etc/profile.加载一下profile文件。然后再输入：java。就能显示配置好了

 

1. 在hadoop102上安装hadoop

1. 将hadoop313解压到module文件夹中。

指令：tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

 

1. 配置环境变量。

输入指令：sudo vim /etc/profile.d/my_env.sh。配置环境变量。在里面添加：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADDOP_HOME/sbin

 

返回来继续source一下。输入命令：source /etc/profile.加载一下profile文件。然后输入hadoop,就会显示出来。说明配置成功。

 

1. 将jdk和hadoop拷贝到hadoop103和104

scp命令拷贝全部内容

 

 

方法一：从102拷贝推送到103

1. 使用scp安全拷贝。输入：cd /opt/module。进入module文件夹。
2. 输入：scp -r jdk1.8.0_212/ havtl@hadoop103:/opt/module/

 

 

方法二：103从102中拉取

1.也是使用scp命令。先进入到103的module文件夹下。

2.输入：scp -r havtl@hadoop102:/opt/module/hadoop-3.1.3 ./

 

方法三：

用hadoop103,scp命令将hadoop102的jdk和hadoop拷贝到hadoop104。

在103中输入：scp -r havtl@hadoop102:/opt/module/* havtl@hadoop104:/opt/module

 

这样就将hadoop102的jdk和hadoop都拷贝到了104。

6.rsync指令

 

rsync拷贝差异性文件内容，不整个拷贝复制过去，效率比scp高。

1. xsync集群分发脚本

创建一个脚本，使“xsync+文件名“指令在全局任何路径都可以使用，将改文件同步到集群的各个节点（把脚本放在声明了全局环境变量的路径）输入：echo $PATH。可以看见全局变量路径有哪些。

 

然后再在bin目录下创建一个xsync脚本，输入：vim xsync。按i进入编辑

在里面添加脚本内容：(空格符号和换行符号要检查下有没有错误)

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

    echo Not Enough Arguement!

    exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

    echo ====================  $host  ====================

    #3. 遍历所有目录，挨个发送

    for file in $@

    do

        #4. 判断文件是否存在

        if [ -e $file ]

            then

                #5. 获取父目录

                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称

                fname=$(basename $file)

                ssh $host "mkdir -p $pdir"

                rsync -av $pdir/$fname $host:$pdir

            else

                echo $file does not exists!

        fi

    done

done

 

然后更改xsync的权限，输入chmod 777 xsync。

 

然后测试改脚本能不能用，将102中的havtl/home/bin目录分发到103，104.

输入：xsync /home/havtl/bin/。然后输入密码就可以完成。查看103，104是否有bin文件和xsync脚本。

然后现在将hadoop102的环境变量分发到103，104。

输入：xsync /etc/profile.d/my_env.sh。会出现权限不足，所以加sudo,但是root用户用不了在home/havtl目录下的脚本，所以要再用的时候加一个绝对路径或相对路径。

则输入：sudo /home/havtl/bin/xsync /etc/profile.d/my_env.sh。然后成功分发

 

 

最后要在103，104 里面resource一下my_env.sh。

输入：source /etc/profile

加载完成

1. ssh免密登入

1. 原理图
2. 生成公钥和私钥

 

[havtl@hadoop102 .ssh]$ ssh-keygen -t rsa

 

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

 

1. 将公钥拷贝到要免密登录的目标机器上：

[havtl@hadoop102 .ssh]$ ssh-copy-id hadoop103

[havtl@hadoop102 .ssh]$ ssh-copy-id hadoop104

[havtl@hadoop102 .ssh]$ ssh-copy-id hadoop102（也要对自己进行配置）

 

注意：

还需要在hadoop103上采用 havtl账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop104上采用havtl账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

root 账号也要按上面的方法每个机器配置免密登录（su root 切换root用户）；

4. .ssh文件夹下（~/.ssh）的文件功能解释

1. 集群配置规划

1. 集群部署规划

         注意：

• NameNode和SecondaryNameNode不要安装在同一台服务器
• ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

（2）自定义配置文件：

       core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

 

在这里提供了默认配置文件：百度网盘 请输入提取码

解压后，默认配置文件在这里面，可以查看源码怎么写的。

 

3）配置集群

（1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定NameNode的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:8020</value>

    </property>

    <!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <!-- 配置HDFS网页登录使用的静态用户为havtl -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>havtl</value>

    </property>

</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

   <!-- nn web端访问地址-->

   <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop102:9870</value>

    </property>

   <!-- 2nn web端访问地址-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:9868</value>

    </property>

</configuration>

（3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定MR走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop103</value>

    </property>

    <!-- 环境变量的继承 -->

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

   <!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

4）hadoop102配置好了文件，在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去103和104上查看文件分发情况

[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

9. 群起集群

1配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：(添加工作节点机器，把自带的localhost删掉)

hadoop102

hadoop103

hadoop104

 

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

然后同步所有节点配置文件

[atguigu@hadoop102 hadoop]$xsync /opt/module/hadoop-3.1.3/etc

2.启动集群

       （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

 

成功之后会多一个data,logs目录

 

（2）启动HDFS

在hadoop-3.1.3里面的sbin目录里面有一些脚本命令

 

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

 

查看103，104的datanode和secondary namenode

 

 

启动之后在自己的电脑浏览器里面输入192.168.10.102:9870或者hadoop102:9870可以查看

 

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

一定要在103上启动yarn，

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

 

查看102，104的nodemanager已经启动

 

 

（4）Web端查看HDFS的NameNode

（a）浏览器中输入：http://hadoop102:9870或者192.168.10.102:9870

              （b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

（a）浏览器中输入：http://hadoop103:8088或者192.168.10.103:8088

       （b）查看YARN上运行的Job信息

 

注意：每个配置在哪个节点一定要记清楚，启动在哪里启动，

 

3）集群基本测试(前面没做在hadoop-3.1.3创建wcinput,wcoupt 就不用测试一下，这里只是学习一些操作，能看懂会用就行 )

（1）上传文件到集群

• 上传小文件（在102先创建一个文件夹wcinput）

[atguigu@hadoop102 ~]$ hadoop fs -mkdir /wcinput

 

 

[atguigu@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

• 上传大文件

[atguigu@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

• 查看HDFS文件存储路径

[atguigu@hadoop102 subdir0]$ pwd

/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

• 查看HDFS在磁盘存储文件内容

[atguigu@hadoop102 subdir0]$ cat blk_1073741825

hadoop yarn

hadoop mapreduce

atguigu

atguigu

（3）拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月  23 16:01 blk_1073741836

-rw-rw-r--. 1 atguigu atguigu   1048583 5月  23 16:01 blk_1073741836_1012.meta

-rw-rw-r--. 1 atguigu atguigu  63439959 5月  23 16:01 blk_1073741837

-rw-rw-r--. 1 atguigu atguigu    495635 5月  23 16:01 blk_1073741837_1013.meta

[atguigu@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz

[atguigu@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz

[atguigu@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下载

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行wordcount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

10. 配置历史服务器

1. 为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop102:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop102:19888</value>

</property>

 

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[atguigu@hadoop102 hadoop]$ jps

5）查看JobHistory

http://hadoop102:19888/jobhistory

11. 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

 

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 设置日志聚集服务器地址 -->

<property> 

    <name>yarn.log.server.url</name> 

    <value>http://hadoop102:19888/jobhistory/logs</value>

</property>

<!-- 设置日志保留时间为7天 -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

2）分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh

[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh

[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

       （1）历史服务器地址

http://hadoop102:19888/jobhistory

       （2）历史任务列表

 

       （3）查看任务运行日志

 

       （4）运行日志详情

 

12. 集群启动/停止方式总结

1）各个模块分开启动/停止（配置ssh是前提）常用

       （1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

       （2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

       （1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

       （2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

13. 编写Hadoop集群常用脚本

1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin

[atguigu@hadoop102 bin]$ vim myhadoop.sh

• 输入如下内容

#!/bin/bash

if [ $# -lt 1 ]

then

    echo "No Args Input..."

    exit ;

fi

case $1 in

"start")

        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"

        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"

        echo " --------------- 启动 yarn ---------------"

        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"

        echo " --------------- 启动 historyserver ---------------"

        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"

;;

"stop")

        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"

        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"

        echo " --------------- 关闭 yarn ---------------"

        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"

        echo " --------------- 关闭 hdfs ---------------"

        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"

;;

*)

    echo "Input Args Error..."

;;

esac

• 保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 myhadoop.sh

 

 

2）查看三台服务器Java进程脚本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin

[atguigu@hadoop102 bin]$ vim jpsall

• 输入如下内容

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104

do

        echo =============== $host ===============

        ssh $host jps

done

 

• 保存后退出，然后赋予脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 jpsall

3）分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

14. 常用端口号说明

二、常用的配置文件

3.x core-site. xml   hdfs-site. xml  yarn-site. xml   mapred-site. xml   workers

2.x core-site. xml   hdfs-site. xml  yarn-site. xml   mapred-site. xml   slaves

15. 集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1）需求

找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

 

2）时间服务器配置（必须root用户）

（1）查看所有节点ntpd服务状态和开机自启动状态

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

（2）修改hadoop102的ntp.conf配置文件

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下

（a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

       （b）修改2（集群在局域网中，不使用其他互联网上的时间）

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

（c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0

fudge 127.127.1.0 stratum 10

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置ntpd服务开机启动

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他机器配置（必须root用户）

（1）关闭所有节点上ntp服务和自启动

[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd

[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd

[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd

[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

（2）在其他机器配置1分钟与时间服务器同步一次

[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

（4）1分钟后查看机器是否与时间服务器同步

[atguigu@hadoop103 ~]$ sudo date

16.常见错误及解决方案

1）防火墙没关闭、或者没有启动YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP地址配置错误

4）ssh没有配置好

5）root用户和atguigu两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102

        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

        at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop102

       （2）主机名称不要起hadoop  hadoop000等特殊名称

8）DataNode和NameNode进程同时只能工作一个。

 

9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴Word中代码。

10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps不生效

原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

12）8088端口连接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1         hadoop102

参考：32_尚硅谷_Hadoop_入门_集群崩溃处理办法_哔哩哔哩_bilibili