手把手教你在linux中部署hadoop以及hadoop功能介绍_csdn liunx hadoop

我们在学大数据的时候hadoop是躲避不开的地方，所以如何在linux中部署hadoop，下面就是手把手教你如何部署hadoop。你只要复制粘体，然后按enter键就可以了。

准备：

  安装Linux版本的服务器。可以参考中前半部分安装服务器的内容即可：VM部署CentOS并且设置网络_ZeroMaster的博客-CSDN博客

  

设置服务器ip: 192.168.171.5

一：安装JDK

1：下载jdk

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2：解压jdk安装包

tar -zxvf jdk-8u151-linux-x64.tar.gz

3：移动并重命名jdk包

mv jdk1.8.0_151/ /usr/java8

4：配置java环境变量

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
 
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
 
source /etc/profile

5：查看java是否安装成功

java -version

二：安装hadoop

1:下载hadoop包

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2；解压hadoop包并转移到指定文件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
 
mv /opt/hadoop-3.1.3 /opt/hadoop

3：配置hadoop环境变量

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
 
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
 
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
 
source /etc/profile
 

4：修改配置文件yarn-env.sh和hadoop-env.sh

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
 
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5：查看hadoop是否安装成功

hadoop version

三：配置hadoop

1. 修改Hadoop配置文件 core-site.xml。

vim /opt/hadoop/etc/hadoop/core-site.xml

输入i进入编辑模式。 在<configuration></configuration>节点内插入如下内容。

<property>
 
       <name>hadoop.tmp.dir</name>
 
       <value>file:/opt/hadoop/tmp</value>
 
       <description>location to store temporary files</description>
 
   </property>
 
   <property>
 
       <name>fs.defaultFS</name>
 
       <value>hdfs://localhost:9000</value>
 
   </property>

2. 修改Hadoop配置文件 hdfs-site.xml。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

 在<configuration></configuration>节点内插入如下内容

<property>
 
       <name>dfs.replication</name>
 
       <value>1</value>
 
   </property>
 
   <property>
 
       <name>dfs.namenode.name.dir</name>
 
       <value>file:/opt/hadoop/tmp/dfs/name</value>
 
   </property>
 
   <property>
 
       <name>dfs.datanode.data.dir</name>
 
       <value>file:/opt/hadoop/tmp/dfs/data</value>
 
   </property>

四：配置SSH免密登录

1:创建公钥和私钥

ssh-keygen -t rsa

2. 执行以下命令，将公钥添加到authorized_keys文件中。

cd ~
 
cd .ssh
 
cat id_rsa.pub >> authorized_keys

若报错，执行下面操作后重新执行上面两句命令；若没有报错直接进入第五步：

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
 
export HDFS_DATANODE_USER=root
 
export HDFS_SECONDARYNAMENODE_USER=root
 
export YARN_RESOURCEMANAGER_USER=root
 
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

五：启动hadoop

1:初始化namenode

hadoop namenode -format

2:启动hadoop

start-dfs.sh

这个时候可能出现如下错误

上一次登录：二 8月 22 20:26:37 CST 2023从 192.168.171.3pts/0 上
localhost: ERROR: JAVA_HOME is not set and could not be found.
Starting datanodes
上一次登录：二 8月 22 20:27:39 CST 2023pts/0 上
localhost: ERROR: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [master]
上一次登录：二 8月 22 20:27:39 CST 2023pts/0 上
master: ERROR: JAVA_HOME is not set and could not be found.

其实是hadoop里面hadoop-env.sh文件里面的java路径设置不对，才会导致如上问题。

进入：

cd /opt/hadoop/etc/hadoop/
 
sudo vim hadoop-env.sh
 
将export JAVA_HOME改成
export JAVA_HOME=/usr/java8
 
##生效
source hadoop-env.sh

最后重新执行start-dfs.sh就可以了。

若有选择Y/N的，选择Y;其他直接回车

再执行：

start-yarn.sh

3.启动成功后，执行以下命令，查看已成功启动的进程。

jps

出现如下

8177 DataNode
8802 NodeManager
8377 SecondaryNameNode
8059 NameNode
8671 ResourceManager
9279 Jps

4：打开浏览器访问http://192.168.171.5:8088和http://192.168.171.5:50070，显示如下界面则表示Hadoop伪分布式环境搭建完成

4：一些命令

（1）：如果是集群查看resourcemanager的状态。在/bin下执行 

./hdfs haadmin -getAllServiceState

参考：通过命令来查看NameNode的状态（是Active还是Standby）_快乐的跳蚤的博客-CSDN博客

（2）：查看运行的程序

 ./yarn application -list

（3）：启动hadoop的命令行：

1、start-all.sh
 
　　启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack。
 
　　2、start-dfs.sh
 
　　启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode。
 
　　3、hadoop-daemons.sh start namenode
 
　　单独启动NameNode守护进程。
 
　　4、hadoop-daemons.sh start datanode
 
　　单独启动DataNode守护进程。
 
　　5、hadoop-daemons.sh start secondarynamenode
 
　　单独启动SecondaryNameNode守护进程。
 
　　6、start-mapred.sh
 
　　启动Hadoop MapReduce守护进程JobTracker和TaskTracker。
 
　　7、hadoop-daemons.sh start jobtracker
 
　　单独启动JobTracker守护进程。
 
　　8、hadoop-daemons.sh start tasktracker
 
　　单独启动TaskTracker守护进程。
 
　　9、hadoop-daemons.sh stop tasktracker
 
　　单独启动TaskTracker守护进程。

（4）发现HDFS上存储数据

./hadoop fs -du -h /

六：hadoop中配置文件说明

1：Hadoop集群特定配置文件

2：Hadoop守护进程

除了上面提到的配置文件，Hadoop管理员还可以使用下面的脚本文件来配置Hadoop集群:

• hadoop-env.sh
• yarn-env.sh
• mapred-env.sh

这些脚本文件主要负责设置如下属性

• Java主目录
• 不同的日志文件位置
• 用于各种守护进程的JVM选项

守护进程配置变量

守护进程    环境变量
名称节点    HADOOP_NAMENODE_OPTS
数据节点    HADOOP_DATANODE_OPTS
辅助名称节点    HADOOP_SECONDARYNAMENODE_OPTS
资源管理器    YARN_RESOURCEMANAGER_OPTS
节点管理器    YARN_NODEMANAGER_OPTS

Hadoop配置文件的优先级

Hadoop集群中的每个节点必须要有配置文件的一个拷贝，包括集群的客户端节点。这些配置文件以如下次序应用到系统中(优先级由高到低):
1)MapRduce任务初始化的时候，由JobConf或者Job对象指定的值
2)客户端节点的 *-site.xml
3)从节点的 *-site.xml
4) *-default.xml 文件中的默认值，这个文件是集群中的所有节点都相同

3：主要配置文件说明

core-site.xml一些通用属性

hdfs-site.xml一些通用配置

mapred-site.xml一些关键属性

yarn-site.xml文件中的一些关键属性

参考：Hadoop中配置文件重要属性释义_hadoop配置文件详解_盛者无名的博客-CSDN博客

七：hadoop功能介绍

一 ：namenode：

  管理文件系统的命名空间，他维护着文件系统树及整棵树上所有的文件和目录，这些信息以两个文件形式永久的保存在本地磁盘上，命名空间镜像文件(fsimage)和(Editlogs)
    fsimage：namenode启动时，对整个文件系统的快照
    editlogs：namenode启动以后，对文件系统的改动序列
namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数，用户对hdfs的操作)，但它并不永久保存块的位置信息，因为这些信息会在系统启动时根据数据节点信息重建。  

启动命令：

hadoop-daemon.sh start namenode

二：datanode

  datanode负责提供来自文件系统客户端读和写的请求，受客户端或者namenode的调度，并且定期向namenode发送(通过心跳机制存储的块的列表) 

启动命令：

hadoop-daemon.sh start datanode

三：journalNode

  namenode之间为了数据同步，会通过一组称作JournalNodes的独立进程相互通信，当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JournalNodes中的变更信息，并且一直监控editlog的变化，把变化应用与自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了。为了确保快速切换，standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点，所有的DataNodes必须配置两个NameNode的地址，发送数据块位置信息和心跳给他们两个。
    对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，JournalNodes必须确保同一时刻只有一个NameNode可以向自己写数据。

启动命令：

hadoop-daemon.sh start journalnode

四：nodemanager

   yarn中的每一台节点服务器都运行一个NodeManager,NodeManager相当于管理当前机器的一个代理，负责本台机器的程序运行，并且对本台机器资源进行管理和监控，NodeManager定时向ResourceManager汇报本节点的资源(cpu,内存，磁盘)等使用情况，启动并监控Container(容器)。

启动命令：

yarn-daemon.sh start nodemanager

五：ResourceManager

管理集群资源，负责全局资源的监控，分配和管理。接收来自NodeManager的心跳信息，进行整体资源的汇总，监控ApplicationMaster的开启和创建。

启动命令：

yarn-daemon.sh start resourcemanager

./yarn --daemon start resourcemanager

六：ZKFC

  定期对本地的namenode发起health—check命令，如果nameNode正确返回，那么这个namenode被认为是ok的，否则被认为是失效节点，zookeeper提供了一个简单的机制来保证只有一个namenode是活动的，如果当前的namenode失效，那么另一个namenode将获取zookeeper的独占锁，表明自己是活动节点
   作为一个zookeeper集群的客户端，用来监控namnode的状态信息，每个namenode的节点必须要运行一个zkfc

启动命令：

hadoop-daemon.sh start zkfc

七：SecondaryNameNode(检查节点)

  namenode重启时，editlogs才会合并到fsimage文件中，从而得到一个文件系统的最新快照，但是在集群中，namenode是很少重启的，这也就意味着当namenode运行了很长一段时间后，edit-logs文件会非常大，这种情况就出现了以下问题：
    edit-logs文件非常大，怎么去管理
    namenode重启需要花费很长的时间，因为有很多改动要合并到fsimage文件中
    如果namenode挂掉了，那么就丢失了很多改动，此时的fsimage中，在这种情况下，丢失的改动不会特别多，因为丢失的改动是在内存中但是没有写到editlogs的这部分
    
secondary nameNode就是解决这个问题的，他的职责是合并namenode的editlogs文件到fsimage文件中
    secondary nameNode定时查询namenode上的editlogs，并更新到fsimage上(是他自己的fsimage)
    一旦他有了新的faimage文件，他将其拷贝到namenode中
    namenode下次重启的时候，会使用这个新的fsimage，从而减少重启时间
    
关于NameNode是什么时候将改动写到edit logs中的？这个操作实际上是由DataNode的写操作触发的，当我们往DataNode写文件时，DataNode会跟NameNode通信，告诉NameNode什么文件的第几个block放在它那里，NameNode这个时候会将这些元数据信息写到edit logs文件中。

参考：NameNode的HA机制_namenode ha_拾荒路上的开拓者的博客-CSDN博客

八：hadoop常见异常

1：hadoop报错，ERROR: Invalid HADOOP_COMMON_HOME)

首先确定hadoop的安装没有错误。

进入hadoop安装路径，cd （hadoop安装路径）

进入安装路径中的 etc/hadoop

修改该目录下的hadoop-env.sh文件

在该目录下添加java，hadoop环境换量（主要是hadoop环境变量），在里面输入下列代码

export JAVA_HOME=/home/ys/opt/jdk1.8.0_221 （自己的java安装路径）
export HADOOP_HOME=/home/ys/opt/disk/hadoop-3.1.2

2：错误Name node is in safe mode的解决方法

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

可以通过以下命令来手动离开安全模式：

bin/hadoop dfsadmin -safemode leave
//在bin下执行
//若配置环境变量，使用以下命令
hadoop dfsadmin -safemode leave

用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。

3：HA高可用下，NameNode切换active和standby状态

A为active B为standby

要互相切换

在A的namenode下执行

hdfs --daemon stop zkfc

可能需要等待几秒

hdfs --daemon start zkfc

再次启动，原来的active就变为standby了，原来的standby就变为active了
 

bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
 
bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态
 
sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程
 
sbin/hadoop-daemon.sh start zkfc 单独启动一个zkfc进程