当前位置:   article > 正文

tez引擎跑hive 语句报错问题解决_tez.task.resource.memory.mb

tez.task.resource.memory.mb

tez引擎跑hive 语句报错问题解决

现象:
Container [pid=151320,containerID=***] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5.1 GB virtual memory used. Killing container.
很明显,容器物理内存爆了。

我先设置了hive.tez.container.size=2048,同样的报错。
接着设置了tez.task.resource.memory.mb=2048,还是同样的报错。
翻了半天tez参数说明,加了一个am的设置:set tez.am.resource.memory.mb=2048,终于好了。
记录一下。

tez参数说明:
1、AM、Container大小设置1、tez.am.resource.memory.mb  #设置 tez AM容器内存
  默认值:1024  
  配置文件:tez-site.xml  建议:不小于或者等于yarn.scheduler.minimum-allocation-mb值。
2、hive.tez.container.size  #设置 tez container内存
  默认值:-1
  默认情况下,Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。
  配置文件:hive-site-xml  建议:不小于或者是yarn.scheduler.minimum-allocation-mb的倍数

问了一个专业的人,他说这两个参数要配合使用。
好吧,其实只是一个简单问题解决。没啥实际用处。。。我又不用tez跑hive语句。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/833905
推荐阅读
相关标签
  

闽ICP备14008679号