搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
小舞很执着
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
简单游戏外挂,植物大战僵尸外挂,附cpp源代码_自动打植物大战僵尸脚本
2
2024年集创赛FPGA紫光同创赛道男女声,童声变声_紫光同创集创赛音频处理系统
3
LoRa 数据包结构分析及数据传输时间_lora梯控 数据包
4
计算机毕业设计springboot社区志愿者管理系统的设计与实现【前后端分离·新项目】_志愿者招募系统开发
5
Docker搭建PHP运行环境_docker php
6
springcloud集成rocketMQ
7
Flask基础2-Jinja2模板
8
2023年电赛E题-运动目标控制与自动追踪系统(OpenCv)_2023年电子设计大赛运动与追踪激光系统
9
蚁群算法的动态路径规划学习笔记_部分动态障碍物路径规划蚁群
10
超详细~Windows下PyCharm配置Anaconda环境教程_anaconda pycharm_安装pycharm后安装anaconda
当前位置:
article
> 正文
大数据技术之 Hadoop(Yarn)_yarn是如何管理hadoop的namenode和datanode
作者:小舞很执着 | 2024-06-21 01:59:04
赞
踩
yarn是如何管理hadoop的namenode和datanode
大数据技术之 Hadoop(Yarn
)
第
1
章
Yarn
资源调度器
思考:
1
)如何管理集群资源?
2
)如何给任务合理分配资源?
Yarn
是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式
的
操作系统平台
,而
MapReduce
等运算程序则相当于运行于
操作系统之上的应用程序
。
1.1 Yarn
基础架构
YARN
主要由
ResourceManager
、
NodeManager
、
ApplicationMaster
和
Container
等组件
构成。
YARN
工作机制
0 Mr
程序提交到客
户端所在的节点
/home/atguigu/wc.jar
main(){
job. waitForCompletion();
}
YarnRunner
1
申请一个
Application
2 Application
资源提交路径
hdfs://…./.staging
以及
application_id
4
资源提交完毕,申请运行
mrAppMaster
3
提交
job
运
行所需资源
ResourceManager
5
将用户的请求初始化成一个
Task
FIFO
调度队列
Capacity
NodeManager
Container
cpu+ram
MRAppmaster
Job.split
Job.xml
wc.jar
hdfs://…./.staging/application_id
这些文件在
job.submit()
后生成
NodeManager
Container
cpu+ram+jar
MapTask
6
领取到
Task
任务
7
创建容器
Container
8
下载
job
资
源到本地
9
申请运行
MapTask
容器
NodeManager
Container
cpu+ram+jar
MapTask
10
领取到任
务,创建容器
11
发送程
序启动脚本
YarnChild
YarnChild
0
1
0
1
14
程序运行完后,
MR
会向
RM
注销自己
12
向
RM
申请
2
个
容器,运行
ReduceTask
程序
Container
YarnChild
ReduceTask0
13 Reduce
向
Map
获取相应
分区的数据
NodeManager
Container
YarnChild
ReduceTask1
NodeManager
(
1
)
MR
程序提交到客户端所在的节点。
(
2
)
YarnRunner
向
ResourceManager
申请一个
Application
。
(
3
)
RM
将该应用程序的资源路径返回给
YarnRunner
。
(
4
)该程序将运行所需资源提交到
HDFS
上。
(
5
)程序资源提交完毕后,申请运行
mrAppMaster
。
(
6
)
RM
将用户的请求初始化成一个
Task
。
(
7
)其中一个
NodeManager
领取到
Task
任务。
(
8
)该
NodeManager
创建容器
Container
,并产生
MRAppmaster
。
YARN
基础架构
client
client
Resource
Manager
Job Submission
作业提交
NodeManager
Container
NodeManager
Container
NodeManager
App Mstr
App Mstr
Container
Container
Container
MapTask
ReduceTask
Container
ReduceTask
MapTask
1
)
ResourceManager
(
RM
)主要作用如下
(
4
)资源的分配与调度
(
1
)处理客户端请求
(
3
)启动或监控
ApplicationMaster
(
2
)监控
NodeManager
2
)
NodeManager
(
NM
)主要作用如下
(
1
)管理单个节点上的资源
(
2
)处理来自
ResourceManager
的命令
(
3
)处理来自
ApplicationMaster
的命令
3
)
ApplicationMaster
(
AM
)作用如下
(
2
)任务的监控与容错
(
1
)为应用程序申请资源并分
配给内部的任务
Container
是
YARN
中的资源
抽象,它封装了某个节点上的多
维度资源,
如内存、
CPU
、磁 盘、
网络等
。
4
)
Container
9
)
Container
从
HDFS
上拷贝资源到本地。
(
10
)
MRAppmaster
向
RM
申请运行
MapTask
资源。
(
11
)
RM
将运行
MapTask
任务分配给另外两个
NodeManager
,另两个
NodeManager
分
别领取任务并创建容器。
(
12
)
MR
向两个接收到任务的
NodeManager
发送程序启动脚本,这两个
NodeManager
分别启动
MapTask
,
MapTask
对数据分区排序。
(
13
)
MrAppMaster
等待所有
MapTask
运行完毕后,向
RM
申请容器,运行
ReduceTask
。
(
14
)
ReduceTask
向
MapTask
获取相应分区的数据。
(
15
)程序运行完毕后,
MR
会向
RM
申请注销自己。
1.3
作业提交全过程
HDFS
、
YARN
、
MapReduce
三者关系
client
作业:从
100T
文件中找出
ss1505_wuma.avi
NodeManager
Container
NodeManager
NodeManager
App Mstr
Container
MapTask
Container
ReduceTask
hadoop102
hadoop103
hadoop104
NameNode
ResourceManager
DataNode
haibo.avi
ss1505_wuma.a
v i
DataNode
ss.avi
yangge.avi
DataNode
ss1505_wuma.a
v i
Container
MapTask
SecondaryNa
meNode
b
c
a
b
…
1 HDFS
上待
处理文本
/user/input
ss.txt
200m
InputFormat
MapTask
Mapper
outputCollector
K,v
map(K,v)
Context.write(k,v)
ss.txt 0-128
5
默认
TextInputFormat
6
逻辑运算
RecorderReader
K,v
reader()
HashPartitioner
分区
Key.compareTo
排序
Combiner
合并
<a,1><c,1>
<b,1><b,1>
9
溢出到文件(分区且区内有序)
<a,1><e,1>
<d,1><f,1>
<a,1><c,1>
<b,2>
<a,1><a,1><c,1><e,1>
<b,1><b,1><d,1><f,1>
<a,2><c,1><e,1>
<b,2><d,1><f,1>
10 Merge
归并排序
partition0
partition1
8
分区、排序
11
合并
<a,1><a,1><c,1><e,1>
<g,1>
<a,1><a,1><c,1><e,1><g,1>
GroupingComparator(k,knext)
13
下载到
ReduceTask
本地磁盘
13
合并文件 归并排序
Reduce(k,v)
Context.write(kv)
Reducer
OutPutFormat
RecordWriter
Write(k,v)
a 2
b 1
c 1
d 1
…
Part-r-000000
16
默认
TextOutputFormat
ReduceTask1
14
一次读取一组
15
分组
HDFS
上文
件读取过程
HDFS
上
文件写
入过程
作业提交过程之
HDFS & MapReduce
7
向环形缓
冲区写入
<k,v>
数据
kvindex
bufindex
<k,v>
kvmeta
默认
100M
80%,
后反向
索引
数据
作业提交全过程详解
(
1
)作业提交
第
1
步:
Client
调用
job.waitForCompletion
方法,向整个集群提交
MapReduce
作业。
第
2
步:
Client
向
RM
申请一个作业
id
。
第
3
步:
RM
给
Client
返回该
job
资源的提交路径和作业
id
。
第
4
步:
Client
提交
jar
包、切片信息和配置文件到指定的资源提交路径。
第
5
步:
Client
提交完资源后,向
RM
申请运行
MrAppMaster
。
(
2
)作业初始化
第
6
步:当
RM
收到
Client
的请求后,将该
job
添加到容量调度器中。
作业提交过程之
YARN
0 Mr
程序提交到客
户端所在的节点
/home/atguigu/wc.jar
main(){
job. waitForCompletion();
}
YarnRunner
1
申请一个
Application
2 Application
资源提交路径
hdfs://…./.staging
以及
application_id
4
资源提交完毕,申请运行
mrAppMaster
3
提交
job
运
行所需资源
ResourceManager
5
将用户的请求初始化成一个
Task
FIFO
调度队列
Capacity
NodeManager
Container
cpu+ram
MRAppmaster
Job.split
Job.xml
wc.jar
hdfs://…./.staging/application_id
这些文件在
job.submit()
后生成
NodeManager
Container
cpu+ram+jar
MapTask
6
领取到
Task
任务
7
创建容器
Container
8
下载
job
资
源到本地
9
申请运行
MapTask
容器
NodeManager
Container
cpu+ram+jar
MapTask
10
领取到任
务,创建容器
11
发送程
序启动脚本
YarnChild
YarnChild
0
1
0
1
14
程序运行完后,
MR
会向
RM
注销自己
12
向
RM
申请
2
个
容器,运行
ReduceTask
程序
Container
YarnChild
ReduceTask0
13 Reduce
向
Map
获取相应
分区的数据
NodeManager
Container
YarnChild
ReduceTask1
NodeManager
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
第
7
步:某一个空闲的
NM
领取到该
Job
。
第
8
步:该
NM
创建
Container
,并产生
MRAppmaster
。
第
9
步:下载
Client
提交的资源到本地。
(
3
)任务分配
第
10
步:
MrAppMaster
向
RM
申请运行多个
MapTask
任务资源。
第
11
步:
RM
将运行
MapTask
任务分配给另外两个
NodeManager
,另两个
NodeManager
分别领取任务并创建容器。
(
4
)任务运行
第
12
步:
MR
向两个接收到任务的
NodeManager
发送程序启动脚本,这两个
NodeManager
分别启动
MapTask
,
MapTask
对数据分区排序。
第
13
步:
MrAppMaster
等待所有
MapTask
运行完毕后,向
RM
申请容器,运行
ReduceTask
。
第
14
步:
ReduceTask
向
MapTask
获取相应分区的数据。
第
15
步:程序运行完毕后,
MR
会向
RM
申请注销自己。
(
5
)进度和状态更新
YARN
中的任务将其进度和状态
(
包括
counter)
返回给应用管理器
,
客户端每秒
(
通过
mapreduce.client.progressmonitor.pollinterval
设置
)
向应用管理器请求进度更新
,
展示给用户。
(
6
)作业完成
除了向应用管理器请求作业进度外
,
客户端每
5
秒都会通过调用
waitForCompletion()
来
检查作业是否完成。时间间隔可以通过
mapreduce.client.completion.pollinterval
来设置。作业
完成之后
,
应用管理器和
Container
会清理工作状态。作业的信息会被作业历史服务器存储
以备之后用户核查。
1.4 Yarn
调度器和调度算法
目前,
Hadoop
作业调度器主要有三种:
FIFO
、容量(
Capacity Scheduler
)和公平(
Fair
Scheduler
)。
Apache Hadoop3.1.3
默认的资源调度器是
Capacity Scheduler
。
CDH
框架默认调度器是
Fair Scheduler
。
具体设置详见:
yarn-default.xml
文件
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capaci
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
ty.
CapacityScheduler
</value>
</property>
1.4.1
先进先出调度器(
FIFO
)
FIFO
调度器(
First In First Out
):单队列,根据提交作业的先后顺序,先来先服务。
FIFO
调度器
job1
job2
job3
job4
job5
job6
按照到达时间排序,先到先服务
queue
队列
MapTask0
MapTask1
MapTask2
MapTask3
ReduceTask0
ReduceTask1
1
、有新的服务器
节点资源
3
、分配一个
Task
给该节点
2
、
Job1
里面包含
4
个
MapTask
和
2
个
ReduceTask
优点:简单易懂;
缺点:不支持多队列,生产环境很少使用;
1.4.2
容量调度器(
Capacity Scheduler
)
Capacity Scheduler
是
Yahoo
开发的多用户调度器。
容量调度器特点
job11
job12
job13
job14
按照到达时间排序,先到先服务
queueA
job21
job22
job23
job24
job25
queueB
Job31
ss
Job32
ss
Job33
cls
Job34
cls
Job35
ss
queueC
1
、多队列:每个队列可配置一定的资源量,每个队列采用
FIFO
调度策略。
20%
资源
50%
资源
30%
资源
root
|---queueA 20%
|---queueB 50%
|---queueC 30%
|---ss 50%
|---cls 50%
2
、容量保证:管理员可为每个队列设置资源最低保证和资源使用上限
3
、灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用
程序提交,则其他队列借调的资源会归还给该队列。
4
、多租户:
支持多用户共享集群和多应用程序同时运行。
为了防止同一个用户的作业独占队列中的资源,该调度器会对
同一用户提交的作业所占资源量进行限定。
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
1.4.3
公平调度器(
Fair Scheduler
)
Fair Schedulere
是
Facebook
开发的多用户调度器。
公平调度器特点
同队列所有任务共享资源,在时间尺度上获得公平的资源
(
1
)多队列:支持多队列多作业
job11
job12
job13
job14
queueA
job21
job22
job23
job24
job25
queueB
Job31
ss
Job32
ss
Job33
cls
Job34
cls
Job35
ss
queueC
20%
资源,
4
个
task
,每个
5%
50%
资源,
5
个
task
,每个
10%
30%
资源,
5
个
task
,每个
6%
root
|---queueA 20%
|---queueB 50%
|---queueC 30%
|---ss 50%
|---cls 50%
(
2
)容量保证:管理员可为每个队列设置资源最低保证和资源使用上线
(
3
)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提
交,则其他队列借调的资源会归还给该队列。
1
)与容量调度器相同点
2
)与容量调度器不同点
(
1
)核心调度策略不同
容量调度器:优先选择
资源利用率低
的队列
公平调度器:优先选择对资源的
缺额
比例大的
(
2
)每个队列可以单独设置资源分配方式
容量调度器:
FIFO
、
DRF
公平调度器:
FIFO
、
FAIR
、
DRF
(
4
)多租户:支持多用户共享集群和多应用程序同时运行;为了防止同一个用户的作业独占队列中的资源,该调度器
会对同一用户提交的作业所占资源量进行限定。
容量调度器资源分配算法
root
|---queueA 20%
|---queueB 50%
|---queueC 30%
|---ss 50%
|---cls 50%
root
queueA
queueB
queueC
ss
cls
作业
1
作业
2
作业
3
作业
4
Container1
(Maptask)
Container2
(Maptask)
Container3
(reducetask)
1
)队列资源分配
从
root
开始,使用深度优先算法,
优先
选择资源占用率最低
的队列分配资源。
2
)作业资源分配
默认按照提交作业的
优先级
和
提交时间
顺序分配资源。
3
)容器资源分配
按照容器的
优先级
分配资源;
如果优先级相同,按照
数据本地性原则
:
(
1
)任务和数据在同一节点
(
2
)任务和数据在同一机架
(
3
)任务和数据不在同一节点也不在同一机架
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
公平调度器队列资源分配方式
1
)
FIFO
策略
公平调度器每个队列资源分配策略如果选择
FIFO
的话,此时公平调度器相当于上面讲过的容量调度器。
2
)
Fair
策略
Fair
策略(默认)是一种基于最大最小公平算法实现的资源多路复用方式,默认情况下,每个队列内部采用该方式分配资
源。这意味着,如果一个队列中有两个应用程序同时运行,则每个应用程序可得到
1/2
的资源;如果三个应用程序同时运行,则
每个应用程序可得到
1/3
的资源。
分别计算比较对象的(
实际最小资源份额、是
否饥饿、资源分配比、资源使用权重比
)
具体资源分配流程和容量调度器一致;
(
1
)选择队列
(
2
)选择作业
(
3
)选择容器
以上三步,每一步都是按照公平策略分配资源
➢
实际最小资源份额
:
mindshare = Min
(资源需求量,配置的最小资源)
➢
是否饥饿
:
isNeedy =
资源使用量
< mindshare
(实际最小资源份额)
➢
资源分配比
:
minShareRatio =
资源使用量
/ Max
(
mindshare, 1
)
➢
资源使用权重比
:
useToWeightRatio =
资源使用量
/
权重
饥饿优先
判断两种比较
对象饥饿状态
资源分配比小者优先;
相同,则按照提交时间顺序;
资源使用权值比小者优先;
相同,则按照提交时间顺序;
其中有一个饥饿
都饥饿
都不饥饿
2
4
2
1
2
1
缺额
•
公平调度器设计目标是:在时间尺度上,所有作业获得公平的资源。某一
时刻一个作业应获资源和实际获取资源的差距叫
“缺额”
•
调度器会
优先为缺额大的作业分配资源
job11
job12
job13
job14
job15
job11
job12
job13
job14
job15
job11
job12
job13
job14
job15
job11
job12
job13
job14
理想:
现实:
JOB15
公平调度器
——
缺额
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
公平调度器队列资源分配方式
(
2
)作业资源分配
(
a
)不加权(关注点是
Job
的个数):
需求:有一条队列总资源
12
个
,
有
4
个
job
,对资源的
需求分别是
:
job1->1,
job2->2 , job3->6,
job4->5
第一次算
:
12 / 4 = 3
job1:
分
3 -->
多
2
个
job2:
分
3 -->
多
1
个
job3:
分
3 -->
差
3
个
job4:
分
3 -->
差
2
个
第二次算
: 3 / 2
= 1.5
job1:
分
1
job2:
分
2
job3:
分
3 -->
差
3
个
-->
分
1.5 -->
最终
: 4.5
job4:
分
3 -->
差
2
个
-->
分
1.5 -->
最终
: 4.5
第
n
次算
:
一直算到没有空闲资源
(
b
)加权(关注点是
Job
的权重):
需求:有一条队列总资源
16
,有
4
个
job
对资源的需求分别是
:
job1->4
job2->2
job3->10
job4->4
每个
job
的权重为
:
job1->5
job2->8
job3->1
job4->2
第一次算
: 16 / (5+8+1+2) =
1
job1:
分
5 -->
多
1
job2:
分
8 -->
多
6
job3:
分
1 -->
少
9
job4:
分
2 -->
少
2
第二次算
: 7 / (1+2) = 7/3
job1:
分
4
job2:
分
2
job3:
分
1 -->
分
7/3
(
2.33
)
-->
少
6.67
job4:
分
2 -->
分
14/3(4.66) -->
多
2.66
第三次算
:2.66/1=2.66
job1:
分
4
job2:
分
2
job3:
分
1 -->
分
2.66/1 -->
分
2.66
job4:
分
4
第
n
次算
:
一直算到没有空闲资源
公平调度器资源分配算法
root
|---queueA 20%
|---queueB 50%
|---queueC 30%
|---ss 50%
|---cls 50%
root
queueA
queueB
queueC
ss
cls
作业
1
作业
2
作业
3
作业
4
Container1
(Maptask)
Container2
(Maptask)
Container3
(reducetask)
(
1
)队列资源分配
需求:集群总资源
100
,有三个队列,对资源的
需求分别是:
queueA -> 20
,
queueB ->50
,
queueC -> 30
第一次算:
100 / 3 = 33.33
queueA
:分
33.33
→
多
13.33
queueB
:分
33.33
→
少
16.67
queueC
:分
33.33
→
多
3.33
第二次算: (
13.33 + 3.33
)
/ 1 = 16.66
queueA
:分
20
queueB
:分
33.33 + 16.66 = 50
queueC
:分
30
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
公平调度器队列资源分配方式
3
)
DRF
策略
DRF
(
Dominant Resource Fairness
),我们之前说的资源,都是单一标准,例如只考虑内存(也是
Yarn
默
认的情况)。但是很多时候我们资源有很多种,例如内存,
CPU
,网络带宽等,这样我们很难衡量两个应用
应该分配的资源比例。
那么在
YARN
中,我们用
DRF
来决定如何调度:
假设集群一共有
100 CPU
和
10T
内存,而应用
A
需要(
2 CPU, 300GB
),应用
B
需要(
6 CPU
,
100GB
)。
则两个应用分别需要
A
(
2%CPU, 3%
内存)和
B
(
6%CPU, 1%
内存)的资源,这就意味着
A
是内存主导的
, B
是
CPU
主导的,针对这种情况,我们可以选择
DRF
策略对不同应用进行不同资源(
CPU
和内存)的一个不同比
例的限制。
1.5 Yarn
常用命令
Yarn
状态的查询,除了可以在
hadoop103:8088
页面查看外,还可以通过命令操作。常
见的命令操作如下所示:
需求:执行
WordCount
案例,并用
Yarn
命令查看任务运行情况。
[atguigu@hadoop102 hadoop-3.1.3]$ myhadoop.sh start
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop
jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
/input /output
1.5.1 yarn application
查看任务
(
1
)列出所有
Application
:
[atguigu@hadoop102 hadoop-3.1.3]$
yarn application -list
2021-02-06 10:21:19,238 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Total number of applications (application-types: [], states: [SUBMITTED,
ACCEPTED, RUNNING] and tags: []):0
Application-Id
Application-Name Application-Type
User
Queue State
Final-State Progress
Tracking-URL
(
2
)根据
Application
状态过滤:
yarn application -list -appStates
(所有状态:
ALL
、
NEW
、
NEW_SAVING
、
SUBMITTED
、
ACCEPTED
、
RUNNING
、
FINISHED
、
FAILED
、
KILLED
)
[atguigu@hadoop102 hadoop-3.1.3]$
yarn application -list -appStates
FINISHED
2021-02-06 10:22:20,029 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Total number of applications (application-types: [], states: [FINISHED]
and tags: []):1
Application-Id
Application-Name Application-Type
User
Queue State
Final-State Progress
Tracking-URL
application_1612577921195_0001 word count MAPREDUCE
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
atguigu default FINISHED
SUCCEEDED
100%
http://hadoop102:19888/jobhistory/job/job_1612577921195_0001
(
3
)
Kill
掉
Application
:
[atguigu@hadoop102 hadoop-3.1.3]$
yarn application
-kill
application_1612577921195_0001
2021-02-06 10:23:48,530 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Application application_1612577921195_0001 has already finished
1.5.2 yarn logs
查看日志
(
1
)查询
Application
日志:
yarn logs -applicationId <ApplicationId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn logs
-applicationId
application_1612577921195_0001
(
2
)查询
Container
日志:
yarn logs -applicationId <ApplicationId> -containerId <ContainerId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn logs
-applicationId
application_1612577921195_0001
-containerId
container_1612577921195_0001_01_000001
1.5.3 yarn applicationattempt
查看尝试运行的任务
(
1
)列出所有
Application
尝试的列表:
yarn applicationattempt -list <ApplicationId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn applicationattempt
-list
application_1612577921195_0001
2021-02-06 10:26:54,195 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Total number of application attempts :1
ApplicationAttempt-Id State AM
Container-Id
Tracking-URL
appattempt_1612577921195_0001_000001
FINISHED
container_1612577921195_0001_01_000001
http://hadoop103:8088/proxy/application_1612577921195_0001/
(
2
)打印
ApplicationAttemp
状态:
yarn applicationattempt -status <ApplicationAttemptId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn applicationattempt
-status
appattempt_1612577921195_0001_000001
2021-02-06 10:27:55,896 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Application Attempt Report :
ApplicationAttempt-Id : appattempt_1612577921195_0001_000001
State : FINISHED
AMContainer :
container_1612577921195_0001_01_000001
Tracking-URL :
http://hadoop103:8088/proxy/application_1612577921195_0001/
RPC Port : 34756
AM Host : hadoop104
Diagnostics :
1.5.4 yarn container
查看容器
(
1
)列出所有
Container
:
yarn container -list <ApplicationAttemptId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn container
-list
appattempt_1612577921195_0001_000001
2021-02-06 10:28:41,396 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Total number of containers :0
Container-Id Start Time Finish Time
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
State Host Node Http Address
(
2
)打印
Container
状态:
yarn container -status <ContainerId>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn container
-status
container_1612577921195_0001_01_000001
2021-02-06 10:29:58,554 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Container with id 'container_1612577921195_0001_01_000001' doesn't exist
in RM or Timeline Server.
注:只有在任务跑的途中才能看到
container
的状态
1.5.5 yarn node
查看节点状态
列出所有节点:
yarn node -list -all
[atguigu@hadoop102 hadoop-3.1.3]$
yarn node -list -all
2021-02-06 10:31:36,962 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Total Nodes:3
Node-Id Node-State Node-Http-Address Number-of-Running
Containers
hadoop103:38168
RUNNING hadoop103:8042
0
hadoop102:42012
RUNNING hadoop102:8042
0
hadoop104:39702
RUNNING hadoop104:8042
0
1.5.6 yarn rmadmin
更新配置
加载队列配置:
yarn rmadmin -refreshQueues
[atguigu@hadoop102 hadoop-3.1.3]$
yarn rmadmin -refreshQueues
2021-02-06 10:32:03,331 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8033
1.5.7 yarn queue
查看队列
打印队列信息:
yarn queue -status <QueueName>
[atguigu@hadoop102 hadoop-3.1.3]$
yarn queue -status default
2021-02-06 10:32:33,403 INFO client.RMProxy: Connecting to ResourceManager
at hadoop103/192.168.10.103:8032
Queue Information :
Queue Name : default
State : RUNNING
Capacity : 100.0%
Current Capacity : .0%
Maximum Capacity : 100.0%
Default Node Label expression : <DEFAULT_PARTITION>
Accessible Node Labels : *
Preemption : disabled
Intra-queue Preemption : disabled
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
1.6 Yarn
生产环境核心参数
第
2
章
Yarn
案例实操
注:调整下列参数之前尽量拍摄
Linux
快照,否则后续的案例,还需要重写准备集群。
2.1 Yarn
生产环境核心参数配置案例
1
)需求:从
1G
数据中,统计每个单词出现次数。服务器
3
台,每台配置
4G
内存,
4
核
CPU
,
4
线程。
2
)需求分析:
1G / 128m = 8
个
MapTask
;
1
个
ReduceTask
;
1
个
mrAppMaster
平均每个节点运行
10
个
/ 3
台 ≈
3
个任务(
4
3
3
)
3
)修改
yarn-site.xml
配置参数如下:
<!--
选择调度器,默认容量
-->
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capaci
ty.
CapacityScheduler
</value>
</property>
<!-- ResourceManager
处理调度器请求的线程数量
,
默认
50
;如果提交的任务数大于
50
,可以
增加该值,但是不能超过
3
台
* 4
线程
= 12
线程(去除其他应用程序实际不能超过
8
)
-->
<property>
<description>Number of threads to handle scheduler
interface.</description>
<name>yarn.resourcemanager.scheduler.client.
thread-count
</name>
<value>
8
</value>
</property>
YARN
生产环境核心参数
client
client
Resource
Manager
NodeManager
Container
NodeManager
Container
NodeManager
App Mstr
App Mstr
Container
Container
Container
MapTask
ReduceTask
Container
ReduceTask
MapTask
yarn.resourcemanager.scheduler.class
配置调度器,
默认容量
yarn.resourcemanager.scheduler.client.thread-count
ResourceManager
处理调度器请求的线程数量,
默认
50
1
)
ResourceManager
相关
调度器
yarn.scheduler.minimum-allocation-mb
容器最最小内存,
默认
1G
yarn.scheduler.maximum-allocation-mb
容器最最大内存,
默认
8G
yarn.scheduler.minimum-allocation-vcores
容器最小
CPU
核数,
默认
1
个
yarn.scheduler.maximum-allocation-vcores
容器最大
CPU
核数,
默认
4
个
yarn.nodemanager.resource.detect-hardware-capabilities
是否让
yarn
自己检测硬件进行配置,
默认
false
yarn.nodemanager.resource.count-logical-processors-as-cores
是否将虚拟核数当作
CPU
核数,默认
false
yarn.nodemanager.resource.pcores-vcores-multiplier
虚拟核数和物理核数乘数,例如:
4
核
8
线程,该
参数就应设为
2
,
默认
1.0
yarn.nodemanager.pmem-check-enabled
是否
开启物理内存检查限制
container
,
默认打开
yarn.nodemanager.vmem-check-enabled
是否开启虚拟内存检查限制
container
,
默认打开
yarn.nodemanager.vmem-pmem-ratio
虚拟内存物理内存比例,
默认
2.1
yarn.nodemanager.resource.memory-mb
NodeManager
使用内存,默认
8G
yarn.nodemanager.resource.system-reserved-memory-mb NodeManager
为系统保留多少内存
以上二个参数配置一个即可
yarn.nodemanager.resource.cpu-vcores
NodeManager
使用
CPU
核数,默认
8
个
3
)
Container
相关
2
)
NodeManager
相关
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
<!--
是否让
yarn
自动检测硬件进行配置,默认是
false
,如果该节点有很多其他应用程序,建议
手动配置。如果该节点没有其他应用程序,可以采用自动
-->
<property>
<description>Enable auto-detection of node capabilities such as
memory and CPU.
</description>
<name>yarn.nodemanager.resource.
detect-hardware-capabilities
</name>
<value>
false
</value>
</property>
<!--
是否将虚拟核数当作
CPU
核数,默认是
false
,采用物理
CPU
核数
-->
<property>
<description>Flag to determine if logical processors(such as
hyperthreads) should be counted as cores.
Only applicable on Linux
when yarn.nodemanager.resource.cpu-vcores is set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true
.
</description>
<name>yarn.nodemanager.resource.count-logical-processors-as
cores</name>
<value>
false
</value>
</property>
<!--
虚拟核数和物理核数乘数,默认是
1.0 -->
<property>
<description>Multiplier to determine how to convert phyiscal cores to
vcores. This value is used if yarn.nodemanager.resource.cpu-vcores
is set to -1(which implies auto-calculate vcores) and
yarn.nodemanager.resource.detect-hardware-capabilities is set to true.
The number of vcores will be calculated as number of CPUs * multiplier.
</description>
<name>yarn.nodemanager.resource.
pcores-vcores-multiplier
</name>
<value>1.0</value>
</property>
<!-- NodeManager
使用内存数,默认
8G
,修改为
4G
内存
-->
<property>
<description>Amount of physical memory, in MB, that can be allocated
for containers.
If set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
automatically calculated(in case of Windows and Linux).
In other cases, the default is 8192MB.
</description>
<name>yarn.nodemanager.resource.
memory-mb
</name>
<value>
4096
</value>
</property>
<!-- nodemanager
的
CPU
核数,不按照硬件环境自动设定时默认是
8
个,修改为
4
个
-->
<property>
<description>Number of vcores that can be allocated
for containers. This is used by the RM scheduler when allocating
resources for containers. This is not used to limit the number of
CPUs used by YARN containers.
If it is set to -1 and
yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
automatically determined from the hardware in case of Windows and Linux.
In other cases, number of vcores is 8 by default.</description>
<name>yarn.nodemanager.resource.
cpu-vcores
</name>
<value>
4
</value>
</property>
<!--
容器最小内存,默认
1G -->
<property>
<description>The minimum allocation for every container request at the
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
RM in MBs. Memory requests lower than this will be set to the value of
this
property. Additionally, a node manager that is configured to have
less memory than this value will be shut down by the resource manager.
</description>
<name>yarn.scheduler.
minimum-allocation-mb
</name>
<value>
1024
</value>
</property>
<!--
容器最大内存,默认
8G
,修改为
2G -->
<property>
<description>The maximum allocation for every container request at the
RM in MBs. Memory requests higher than this will throw an
InvalidResourceRequestException.
</description>
<name>yarn.scheduler.
maximum-allocation-mb
</name>
<value>
2048
</value>
</property>
<!--
容器最小
CPU
核数,默认
1
个
-->
<property>
<description>The minimum allocation for every container request at the
RM in terms of virtual CPU cores. Requests lower than this will be set to
the value of this property. Additionally, a node manager that is configured
to have fewer virtual cores than this value will be shut down by the
resource
manager.
</description>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>
<!--
容器最大
CPU
核数,默认
4
个,修改为
2
个
-->
<property>
<description>The maximum allocation for every container request at the
RM in terms of virtual CPU cores. Requests higher than this will throw an
InvalidResourceRequestException.</description>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>
2
</value>
</property>
<!--
虚拟内存检查,默认打开,修改为关闭
-->
<property>
<description>Whether virtual memory limits will be enforced for
containers.</description>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>
false
</value>
</property>
<!--
虚拟内存和物理内存设置比例
,
默认
2.1 -->
<property>
<description>Ratio between virtual memory to physical memory when
setting memory limits for containers. Container allocations are
expressed in terms of physical memory, and virtual memory usage
is
allowed to exceed this allocation by this ratio.
</description>
<name>yarn.nodemanager.
vmem-pmem-ratio
</name>
<value>
2.1
</value>
</property>
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
4
)分发配置。
注意:如果集群的硬件资源不一致,要每个
NodeManager
单独配置
5
)重启集群
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
6
)执行
WordCount
程序
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
/input /output
7
)观察
Yarn
任务执行页面
http://hadoop103:8088/cluster/apps
2.2
容量调度器多队列提交案例
1
)在生产环境怎么创建队列?
(
1
)调度器默认就
1
个
default
队列,不能满足生产要求。
(
2
)按照框架:
hive /spark/ flink
每个框架的任务放入指定的队列(企业用的不是特别
多)
(
3
)按照业务模块:登录注册、购物车、下单、业务部门
1
、业务部门
2
2
)创建多队列的好处?
(
1
)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽。
(
2
)实现任务的
降级
使用,特殊时期保证重要的任务队列资源充足。
11.11 6.18
业务部门
1
(重要)
=
》业务部门
2
(比较重要)
=
》下单(一般)
=
》购物车(一般)
=
》
登录注册(次要)
服务器
4G
内存
关闭虚拟内存检查原因
物理内存
实际物理内存
4G
容器限制
4G
物理内存
Java
堆
4G
Linux
系统为
Java
进程预留
5G
虚拟内存
<property>
<description>Ratio between virtual memory to physical memory when setting memory limits for containers. Container
allocations are expressed in terms of physical memory, and virtual memory usage is allowed to exceed this allocation by this ratio.
</description>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>
2.1
</value>
</property>
8.4G
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
2.2.1
需求
需求
1
:
default
队列占总内存的
40%
,最大资源容量占总资源
60%
,
hive
队列占总内存
的
60%
,最大资源容量占总资源
80%
。
需求
2
:配置队列优先级
2.2.2
配置多队列的容量调度器
1
)在
capacity-scheduler.xml
中配置如下:
(
1
)修改如下配置
<!--
指定多队列,增加
hive
队列
-->
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,
hive
</value>
<description>
The queues at the this level (root is the root queue).
</description>
</property>
<!--
降低
default
队列资源额定容量为
40%
,默认
100% -->
<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>
40
</value>
</property>
<!--
降低
default
队列资源最大容量为
60%
,默认
100% -->
<property>
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>
60
</value>
</property>
(
2
)为新加队列添加必要属性:
<!--
指定
hive
队列的资源额定容量
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.capacity</name>
<value>
60
</value>
</property>
<!--
用户最多可以使用队列多少资源,
1
表示
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.user-limit-factor</name>
<value>1</value>
</property>
<!--
指定
hive
队列的资源最大容量
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.maximum-capacity</name>
<value>
80
</value>
</property>
<!--
启动
hive
队列
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.state</name>
<value>RUNNING</value>
</property>
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
<!--
哪些用户有权向队列提交作业
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.acl_submit_applications</name>
<value>*</value>
</property>
<!--
哪些用户有权操作队列,管理员权限(查看
/
杀死)
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.acl_administer_queue</name>
<value>*</value>
</property>
<!--
哪些用户有权配置提交任务优先级
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.acl_application_max_priority</nam
e>
<value>*</value>
</property>
<!--
任务的超时时间设置:
yarn application -appId
appId
-updateLifetime
Timeout
参考资料:
https://blog.cloudera.com/enforcing-application-lifetime-slas
yarn/ -->
<!--
如果
application
指定了超时时间,则提交到该队列的
application
能够指定的最大超时
时间不能超过该值。
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.maximum-application
lifetime</name>
<value>-1</value>
</property>
<!--
如果
application
没指定超时时间,则用
default-application-lifetime
作为默认
值
-->
<property>
<name>yarn.scheduler.capacity.root.
hive
.default-application
lifetime</name>
<value>-1</value>
</property>
2
)分发配置文件
3
)重启
Yarn
或者执行
yarn rmadmin -refreshQueues
刷新队列,就可以看到两条队列:
[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
2.2.3
向
Hive
队列提交任务
1
)
hadoop jar
的方式
[atguigu@hadoop102 hadoop-3.1.3]$
hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
-D
mapreduce.job.queuename=hive
/input /output
注
: -D
表示运行时改变参数值
2
)打
jar
包的方式
默认的任务提交都是提交到
default
队列的。如果希望向其他队列提交任务,需要在
Driver
中声明:
public class WcDrvier {
public static void main(String[] args) throws IOException,
ClassNotFoundException, InterruptedException {
Configuration conf = new Configuration();
conf.set("mapreduce.job.queuename","hive");
//1.
获取一个
Job
实例
Job job = Job.getInstance(conf);
。。。 。。。
//6.
提交
Job
boolean b = job.waitForCompletion(true);
System.exit(b ? 0 : 1);
}
}
这样,这个任务在集群提交时,就会提交到
hive
队列:
2.2.4
任务优先级
容量调度器,支持任务优先级的配置,在资源紧张时,优先级高的任务将优先获取资源。
默认情况,
Yarn
将所有任务的优先级限制为
0
,若想使用任务的优先级功能,须开放该限制。
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
1
)修改
yarn-site.xml
文件,增加以下参数
<property>
<name>yarn.cluster.max-application-priority</name>
<value>5</value>
</property>
2
)分发配置,并重启
Yarn
[atguigu@hadoop102 hadoop]$ xsync yarn-site.xml
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
3
)模拟资源紧张环境,
可连续提交以下任务,直到新提交的任务申请不到资源为止。
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-
3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5
2000000
4
)再次重新提交优先级高的任务
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-
3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi
-D
mapreduce.job.priority=5
5 2000000
5
)也可以通过以下命令修改正在执行的任务的优先级。
yarn application -appID <ApplicationID> -updatePriority
优先级
[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -appID
application_1611133087930_0009
-updatePriority
5
2.3
公平调度器案例
2.3.1
需求
创建两个队列,分别是
test
和
atguigu
(以用户所属组命名)。期望实现以下效果:
若用
户提交任务时指定队列,则任务提交到指定队列运行
;
若未指定队列
,
test
用户提交的任务
到
root.group.test
队列运行
,
atguigu
提交的任务到
root.group.atguigu
队列运行(注:
group
为
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
用户所属组)。
公平调度器的配置涉及到两个文件,一个是
yarn-site.xml
,另一个是公平调度器队列分
配文件
fair-scheduler.xml
(文件名可自定义)。
(
1
)配置文件参考资料:
https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
(
2
)任务队列放置规则参考资料:
https://blog.cloudera.com/untangling-apache-hadoop-yarn-part-4-fair-scheduler-queue
basics/
2.3.2
配置多队列的公平调度器
1
)修改
yarn-site.xml
文件,加入以下参数
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairS
cheduler
</value>
<description>
配置使用公平调度器
</description>
</property>
<property>
<name>yarn.scheduler.fair.allocation.file</name>
<value>
/opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml
</value>
<description>
指明公平调度器队列分配配置文件
</description>
</property>
<property>
<name>yarn.scheduler.fair.preemption</name>
<value>
false
</value>
<description>
禁止队列间资源抢占
</description>
</property>
2
)配置
fair-scheduler.xml
<?xml version="1.0"?>
<allocations>
<!--
单个队列中
Application Master
占用资源的最大比例
,
取值
0-1
,企业一般配置
0.1
-->
<queueMaxAMShareDefault>
0.5
</queueMaxAMShareDefault>
<!--
单个队列最大资源的默认值
test atguigu default -->
<queueMaxResourcesDefault>
4096mb,4vcores
</queueMaxResourcesDefault>
<!--
增加一个队列
test -->
<queue name="test">
<!--
队列最小资源
-->
<minResources>
2048mb,2vcores
</minResources>
<!--
队列最大资源
-->
<maxResources>
4096mb,4vcores
</maxResources>
<!--
队列中最多同时运行的应用数,默认
50
,根据线程数配置
-->
<maxRunningApps>
4
</maxRunningApps>
<!--
队列中
Application Master
占用资源的最大比例
-->
<maxAMShare>
0.5
</maxAMShare>
<!--
该队列资源权重
,
默认值为
1.0 -->
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
<weight>
1.0
</weight>
<!--
队列内部的资源分配策略
-->
<schedulingPolicy>
fair
</schedulingPolicy>
</queue>
<!--
增加一个队列
atguigu -->
<queue name="
atguigu
" type="parent">
<!--
队列最小资源
-->
<minResources>
2048mb,2vcores
</minResources>
<!--
队列最大资源
-->
<maxResources>
4096mb,4vcores
</maxResources>
<!--
队列中最多同时运行的应用数,默认
50
,根据线程数配置
-->
<maxRunningApps>
4
</maxRunningApps>
<!--
队列中
Application Master
占用资源的最大比例
-->
<maxAMShare>
0.5
</maxAMShare>
<!--
该队列资源权重
,
默认值为
1.0 -->
<weight>
1.0
</weight>
<!--
队列内部的资源分配策略
-->
<schedulingPolicy>
fair
</schedulingPolicy>
</queue>
<!--
任务队列分配策略
,
可配置多层规则
,
从第一个规则开始匹配
,
直到匹配成功
-->
<queuePlacementPolicy>
<!--
提交任务时指定队列
,
如未指定提交队列
,
则继续匹配下一个规则
; false
表示:如果指
定队列不存在
,
不允许自动创建
-->
<rule name="specified" create="false"/>
<!--
提交到
root.group.username
队列
,
若
root.group
不存在
,
不允许自动创建;若
root.group.user
不存在
,
允许自动创建
-->
<rule name="nestedUserQueue" create="true">
<rule name="primaryGroup" create="false"/>
</rule>
<!--
最后一个规则必须为
reject
或者
default
。
Reject
表示拒绝创建提交失败,
default
表示把任务提交到
default
队列
-->
<rule name="reject" />
</queuePlacementPolicy>
</allocations>
3
)分发配置并重启
Yarn
[atguigu@hadoop102 hadoop]$ xsync yarn-site.xml
[atguigu@hadoop102 hadoop]$ xsync fair-scheduler.xml
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
2.3.3
测试提交任务
1
)提交任务时指定队列,按照配置规则,任务会到指定的
root.test
队列
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-
3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi
-
Dmapreduce.job.queuename=root.test
1 1
2
)提交任务时不指定队列,按照配置规则,任务会到
root.atguigu.atguigu
队列
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-
3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
2.4 Yarn
的
Tool
接口案例
0
)回顾:
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar wc.jar
com.atguigu.mapreduce.
wordcount2
.WordCountDriver /input
/output1
期望可以动态传参,结果报错,误认为是第一个输入参数。
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar wc.jar
com.atguigu.mapreduce.
wordcount2
.WordCountDriver -
Dmapreduce.job.queuename=
root.test
/input /output1
1
)需求:自己写的程序也可以动态修改参数。编写
Yarn
的
Tool
接口。
2
)具体步骤:
(
1
)新建
Maven
项目
YarnDemo
,
pom
如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.atguigu.hadoop</groupId>
<artifactId>yarn_tool_test</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>
hadoop-client
</artifactId>
<version>
3.1.3
</version>
</dependency>
</dependencies>
</project>
(
2
)新建
com.atguigu.yarn
报名
(
3
)创建类
WordCount
并实现
Tool
接口:
package com.atguigu.yarn;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import
org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import java.io.IOException;
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
public class WordCount
implements Tool
{
private Configuration
conf
;
@Override
public int run(String[] args) throws Exception {
Job job = Job.getInstance(
conf
);
job.setJarByClass(WordCountDriver.class);
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
return job.waitForCompletion(true) ? 0 : 1;
}
@Override
public void setConf(Configuration conf) {
this.conf = conf;
}
@Override
public Configuration getConf() {
return
conf
;
}
public
static
class
WordCountMapper
extends
Mapper<LongWritable, Text, Text, IntWritable> {
private Text outK = new Text();
private IntWritable outV = new IntWritable(1);
@Override
protected void map(LongWritable key, Text value,
Context context) throws IOException, InterruptedException {
String line = value.toString();
String[] words = line.split(" ");
for (String word : words) {
outK.set(word);
context.write(outK, outV);
}
}
}
public
static
class
WordCountReducer
extends Reducer<Text,
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
IntWritable, Text, IntWritable> {
private IntWritable outV = new IntWritable();
@Override
protected void reduce(Text key, Iterable<IntWritable>
values, Context context) throws IOException,
InterruptedException {
int sum = 0;
for (IntWritable value : values) {
sum += value.get();
}
outV.set(sum);
context.write(key, outV);
}
}
}
(
4
)新建
WordCountDriver
package com.atguigu.yarn;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import java.util.Arrays;
public class WordCountDriver {
private static Tool tool;
public static void main(String[] args) throws Exception {
// 1.
创建配置文件
Configuration conf = new Configuration();
// 2.
判断是否有
tool
接口
switch (args[0]){
case "
wordcount
":
tool = new WordCount();
break;
default:
throw new RuntimeException(" No such tool: "+
args[0] );
}
// 3.
用
Tool
执行程序
// Arrays.copyOfRange
将老数组的元素放到新数组里面
int run =
ToolRunner.run(conf, tool,
Arrays.copyOfRange(args, 1, args.length));
System.exit(run);
}
}
3
)在
HDFS
上准备输入文件,假设为
/input
目录,向集群提交该
Jar
包
[atguigu@hadoop102 hadoop-3.1.3]$ yarn jar YarnDemo.jar
com.atguigu.yarn.WordCountDriver wordcount /input /output
尚硅谷大数据技术之 Hadoop(Yarn
)
—————————————————————————————
更多
Java –
大数据
–
前端
–python
人工智能资料下载,可百度访问:尚硅谷官网
注意此时提交的
3
个参数,第一个用于生成特定的
Tool
,第二个和第三个为输入输出目
录。此时如果我们希望加入设置参数,可以在
wordcount
后面添加参数,例如:
[atguigu@hadoop102 hadoop-3.1.3]$ yarn jar YarnDemo.jar
com.atguigu.yarn.WordCountDriver wordcount
-
Dmapreduce.job.queuename=root.test
/input /output1
4
)注:以上操作全部做完过后,快照回去或者手动将配置文件修改成之前的状态,因为本
身资源就不够,分成了这么多,不方便以后测试。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/小舞很执着/article/detail/741597
推荐阅读
article
JAVA
操作
hadoop
上传下载_
java
hadoop
-
client
下载...
这里写目录标题一、客户端环境准备1.相关包二、基础操作代码1.创建连接2.文件上传3.文件下载1.本地下载2.返回byt...
赞
踩
article
【
hadoop
】使用
Java
API
上传下载
数据_
api
上传下载
...
2023/7/19_
api
上传下载
api
上传下载
使用...
赞
踩
article
Hadoop
——
HDFS
文件
系统
的
Java
API操作(上传、下载、查看、删除、创建
文件
)详细教学_...
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。深知大多数...
赞
踩
article
2024年
大
数据
最全
大
数据
:
Hadoop
基础常识
hive
,
hbase
,
MapReduce
,
Spark
...
简单说,Hive提供了一种独特的SQL查询语句,使得熟悉SQL的开发者通过编写SQL语句即可访问
Hadoop
存储的海量数...
赞
踩
article
笔记
--
大
数据
--
Hadoop
--
01
--
基础概念...
Hadoop
是一个分布式系统基础架构主要解决海量
数据
的存储和分析计算问题高可靠性:
Hadoop
底层维护多个
数据
版本,单个...
赞
踩
article
spark
-
3.5
.
1
+
Hadoop
3.4.0+Hive4.0
分布式
集群 安装配置_
spark
-...
三 Spark 与Hive 集成。
1
拷贝配置文件和Mysql 驱动。2 登录
hive
,创建测试表。3 启动
spark
...
赞
踩
article
sqoop
导入
mysql
到
hbase
报错
java
.lang.NoSuchMethodError: ...
sqoop
导入
mysql
到
hbase
报错
java
.lang.NoSuchMethodError: org.
apache
...
赞
踩
article
(转)
hadoop
常规
错误
问题
(
一
)...
转至:http://www.freeoa.net/osuport/db/my-hbase-usage-problem-s...
赞
踩
article
hadoop
fs
–ls /
hbase
无内容_
HBase
常见问题
集合...
【问题1】client.HConnectionManager$HConnectionImplementation: Ca...
赞
踩
article
2024年最全【
hadoop
】
hbase
的
安装
部署
以及相关
操作
(图文详解)
_
hbase
安装
,
字节跳动...
例如
,
要表示hdfs中
的
’/
hbase
’目录
,
namenode 运行在namenode.example.org
的
9090...
赞
踩
article
【
Hadoop
】大
数据
开发
环境
配置
_
hadoop
环境
配置
...
注意:格式化操作只能执行一次,如果格式化的时候失败了,可以修改
配置
文件后再执行格式化,如果格式化成功了就不能再重复执行了...
赞
踩
article
Python
操作大数据使用
Hadoop
_
python
hadoop
...
本文介绍了如何使用
Python
与
Hadoop
框架协作,包括连接
Hadoop
集群、上传下载数据、执行MapReduce作业...
赞
踩
article
Hadoop
Hive小
文件
合并
_小
文件
合并
hadoop
...
hive.exec.reducers.bytes.per.reducer=500000000 --设定每个reduce的...
赞
踩
article
Hadoop
/
Hive
/
Spark
小
文件
处理_
spark
小
文件
问题...
小
文件
指的是
文件
size比HDFS的block size小很多的
文件
。
Hadoop
适合处理少量的大
文件
,而不是大量的小文...
赞
踩
article
【Spark】调整
hive
表在
HDFS
存的每个文件的大小_
spark
on
yarn
hadoop
中...
【代码】
hive
表在
HDFS
的每个文件的大小。_
spark
on
yarn
hadoop
中存储
hive
文件
part
大小默...
赞
踩
article
解决Execution
Error
,
return
code
2 from org.apache.h...
hive
在运行hql语句时报如下错误:
Error
:
Error
while
processing
statement: ...
赞
踩
article
Hadoop
集群
datanode
磁盘
不均衡的
解决方案
_cdh6.3.2
rebalance
后 da...
一、引言:
Hadoop
的HDFS
集群
非常容易出现机器与机器之间
磁盘
利用率不平衡的情况,比如
集群
中添加新的数据节点,节点与...
赞
踩
article
节点内
DataNode
磁盘使用率不均衡处理指导_dfs.
datanode
.
fsdataset
.vol...
问题背景与现象单个节点内
DataNode
的各磁盘使用率不均匀。例如:复制<span style="color:#3...
赞
踩
article
大数据
Hadoop
之——
Hadoop
HDFS多目录磁盘扩展与数据平衡实战操作_
dfs
.datano...
h
dfs
需要存写大量文件,有时磁盘会成为整个集群的性能瓶颈,所以需要优化 h
dfs
存取速度,将数据目录配置多磁盘,既...
赞
踩
article
Hadoop
WordCount
统计
小说每个字
的
出现
的
次数并排序_
wordcount
词频
统计
顺序...
闲来无事,想看看小说中
的
什么字出现
的
频率比较高,就改了一下
WordCount
的
程序。原理: 主要
的
核心就是WordCou...
赞
踩
相关标签
java
hadoop
hdfs
npm
大数据
面试
学习
笔记
分布式
spark
sqoop
hbase
mysql
shell
hadoop fs –ls /hbase 无内容