- 1Oracle优化之B树索引_oracle b*索引与b+
- 2ECCV 2020 | 腾讯 AI Lab 16篇入选论文解读
- 3Windows安装mysql详细步骤（通俗易懂，简单上手）
- 4从github上克隆项目到本地或服务器命令_从githup上下载软件到服务器
- 5Unity实现轮播（简单方法）使用DoTween插件_unity触摸轮播
- 6RabbitMq应答模式、配置简介、常见阻塞场景_acknowledge-mode
- 7chatgpt赋能python：Python怎么模拟键盘输入:一份完整的教程
- 8Ubuntu16.04离线安装nginx遇到的坑_ubuntu离线安装libpcre3
- 9大数据之Hadoop3.x 运行环境搭建（免费下载Hadoop全套安装包、大数据简历模板和大数据面试真题）_hadoop环境搭建
- 10隐私计算技术实现数据要素安全可信流通_隐私计算在数据要素流通场景的应用
Hadoop集群的搭建 完结_hadoop集群搭建正确结果显示什么
赞
踩
1. 集群环境准备
集群模式主要用于生产环境部署，需要多台主机，并且这些主机之间可以相互访问，我们在之前搭建好基础环境的三台虚拟机上进行Hadoop的搭建。
1.1.1集群简介:
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群负责海量数据的存储，集群中的角色主要有：
NameNode、DataNode、SecondaryNameNode.
YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：
ResourceManager、NodeManager.
那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理.
1.1.2 集群的3中部署方式
1、Standalone mode（独立模式）
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。
2、Pseudo-Distributed mode（伪分布式模式）
伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。
3、Cluster mode（群集模式）-单节点模式-高可用HA模式
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。
1.1.3 hadoop重新编译
由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译,本次我用的是已经编译好的了.
2. 开始部署:
其实就是Hadoop配置文件的修改. 般在主节点进行修改，完毕后scp下发给其他各
个从节点机器。
我所有的操作都是在第一台主机上执行的
- 1
- 2
- 3
上传 hadoop包到 /export/software(自己创建的)下
解压到 /export/server(自己创建的)目录下
解压后要知道的几个目录：
sbin
管理命令脚本存放目录
etc/hadoop
配置文件目录
share/hadoop/mapreduce
官方提供的MapReduce案例
- 1
- 2
- 3
- 4
- 5
- 6
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。
1、配置:
cd /export/server/hadoop-2.7.5/etc/hadoop
vim hadoop-env.sh
添加以下内容:
export JAVA_HOME=/export/server/jdk1.8.0_241
- 1
- 2
- 3
- 4
2 core-site.xml
hadoop的核心配置文件，有默认的配置项core-default.xml。 core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。 1、配置 在该文件中的<configuration>标签中添加以下配置, <configuration> 在这里添加配置 </configuration> cd /export/server/hadoop-2.7.5/etc/hadoop vim core-site.xml 配置内容如下: <!-- 用于设置Hadoop的文件系统，由URI指定 --> <property> <name>fs.defaultFS</name> <value>hdfs://afu01:8020</value> </property> <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} --> <property> <name>hadoop.tmp.dir</name> <value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value> </property> <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 --> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 --> <property> <name>fs.trash.interval</name> <value>10080</value> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- hdfs-site.xml :
HDFS的核心配置文件，主要配置HDFS相关参数，有默认的配置项hdfs-default.xml。
hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。
2、配置 在该文件中的<configuration>标签中添加以下配置, <configuration> 在这里添加配置 </configuration> cd /export/server/hadoop-2.7.5/etc/hadoop vim hdfs-site.xml 配置一下内容 <!-- 指定SecondaryNameNode的主机和端口 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>afu02:50090</value> </property> <!-- 指定namenode的页面访问地址和端口 --> <property> <name>dfs.namenode.http-address</name> <value>node1:50070</value> </property> <!-- 指定namenode元数据的存放位置 --> <property> <name>dfs.namenode.name.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas</value> </property> <!-- 定义datanode数据存储的节点位置 --> <property> <name>dfs.datanode.data.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas</value> </property> <!-- 定义namenode的edits文件存放路径 --> <property> <name>dfs.namenode.edits.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/nn/edits</value> </property> <!-- 配置检查点目录 --> <property> <name>dfs.namenode.checkpoint.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/snn/name</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>file:///export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value> </property> <!-- 文件切片的副本个数--> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 设置HDFS的文件权限--> <property> <name>dfs.permissions</name> <value>false</value> </property> <!-- 设置一个文件切片的大小：128M--> <property> <name>dfs.blocksize</name> <value>134217728</value> </property> <!-- 指定DataNode的节点配置文件 --> <property> <name> dfs.hosts </name> <value>/export/server/hadoop-2.7.5/etc/hadoop/slaves </value> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- mapred-site.xml
1、介绍
MapReduce的核心配置文件，Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件
cd /export/server/hadoop-2.7.5/etc/hadoop cp mapred-site.xml.template mapred-site.xml 在mapred-site.xml文件中的<configuration>标签中添加以下配置, <configuration> 在这里添加配置 </configuration> vim mapred-site.xml 配置一下内容: <!-- 指定分布式计算使用的框架是yarn --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 开启MapReduce小任务模式 --> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <!-- 设置历史任务的主机和端口 --> <property> <name>mapreduce.jobhistory.address</name> <value>afu01:10020</value> </property> <!-- 设置网页访问历史任务的主机和端口 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>afu01:19888</value> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
4 mapred-env.sh
在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉，然后按照以下方式修改:
cd /export/server/hadoop-2.7.5/etc/hadoop
vim mapred-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_241
- 1
- 2
- 3
- 4
5 yarn-site.xml
YARN的核心配置文件,在该文件中的标签中添加以下配置,
<configuration> 在这里添加配置 </configuration> cd /export/server/hadoop-2.7.5/etc/hadoop vim yarn-site.xml 添加以下配置： <!-- 配置yarn主节点的位置 --> <property> <name>yarn.resourcemanager.hostname</name> <value>afu01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 开启日志聚合功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 设置聚合日志在hdfs上的保存时间 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> <!-- 设置yarn集群的内存分配方案 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.1</value> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
6 slaves:
slaves文件里面记录的是集群主机名。一般有以下两种作用：
一是：配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
二是：可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。
dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。
2、配置
cd /export/server/hadoop-2.7.5/etc/hadoop
vim slaves
删除slaves中的localhost，然后添加以下内容:
afu01
afu02
afu03
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
数据目录创建和文件分发
注意,以下所有操作都在afu01主机进行。
1、目录创建
创建Hadoop所需目录
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
3、文件分发
将配置好的Hadoop目录分发到node2和node3主机。
scp -r /export/server/hadoop-2.7.5/ afu02:/export/server/
scp -r /export/server/hadoop-2.7.5/ afu03:/export/server/
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
配置Hadoop的环境变量
注意，三台机器都需要执行以下命令
vim /etc/profile
添加以下内容:
export HADOOP_HOME=/export/server/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
启动集群
要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。
在node1上执行格式化指令
hadoop namenode -format
- 1
脚本一键启动
启动HDFS
start-dfs.sh
启动Yarn
start-yarn.sh
启动历史任务服务进程
mr-jobhistory-daemon.sh start historyserver
一键启动:
启动HDFS和Yarn
start-all.sh
启动历史任务
mr-jobhistory-daemon.sh start historyserver
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
启动之后，使用jps命令查看相关服务是否启动，jps是显示Java相关的进程命令。
注意:如果在启动之后，有些服务没有启动成功，则需要查看启动日志，Hadoop的启动日志在每台主机的/export/server/hadoop-2.7.5/logs/目录，需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志，以下是afu01主机的日志目录.
集群的页面访问
查看NameNode页面地址(HDFS): http://192.168.88.161:50070/
查看Yarn集群页面地址: http://192.168.88.161:8088/cluster
查看MapReduce历史任务页面地址:
http://192.168.88.161:19888/jobhistory
最后Hadoop初次体验
创建 touch hadoop.txt
vim hadoop.txt 写入一点内容
HDFS: 分布式文件系统
MapReduce: 分布式计算系统
Yarn: 分布式资源调度系统
#将hadoop.txt上传到HDFS的根目录
hadoop fs -put a.txt / # 后面跟一个 / hadoop的根
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
HDFS 上查看:
