赞
踩
现象:
Container [pid=151320,containerID=***] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5.1 GB virtual memory used. Killing container.
很明显,容器物理内存爆了。
我先设置了hive.tez.container.size=2048,同样的报错。
接着设置了tez.task.resource.memory.mb=2048,还是同样的报错。
翻了半天tez参数说明,加了一个am的设置:set tez.am.resource.memory.mb=2048,终于好了。
记录一下。
tez参数说明:
1、AM、Container大小设置1、tez.am.resource.memory.mb #设置 tez AM容器内存
默认值:1024
配置文件:tez-site.xml 建议:不小于或者等于yarn.scheduler.minimum-allocation-mb值。
2、hive.tez.container.size #设置 tez container内存
默认值:-1
默认情况下,Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。
配置文件:hive-site-xml 建议:不小于或者是yarn.scheduler.minimum-allocation-mb的倍数
问了一个专业的人,他说这两个参数要配合使用。
好吧,其实只是一个简单问题解决。没啥实际用处。。。我又不用tez跑hive语句。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。