热门标签
热门文章
- 1【强化学习】Q-Learning_基于贪心策略的q-learning算法实验分析与总结
- 2程序员莫名收到谷歌转账170万元，直言：一个月没敢花_谷歌转账180
- 3CrossOver 24.0.0 for Mac强悍来袭，你准备好了吗？_crossover24 直播伴侣
- 4python反素数_可逆素数-随心随性无为而为-51CTO博客
- 5稳扎稳打学爬虫09—chromedriver下载与安装方法_chromedriver.exe
- 6spring Boot 使用jetty_spring-boot-starter-jetty
- 7SpringMVC框架技术总结(一)_springmvc 框架 项目验收 技术总结
- 8分治算法应用1--二分搜索法_二分搜索为啥满足分治法条件
- 9【python】爬取链家二手房数据做数据分析【附源码】_python 链家 爬虫
- 10Linux GNU C结构体数组初始化示例_gcc结构体数组初始化
当前位置: article > 正文
HIVE 语句执行 中报错：Java heap space_diagnostic messages for this task: error: java hea
作者：小丑西瓜9 | 2024-05-05 15:55:37
赞
踩
diagnostic messages for this task: error: java heap space failed: execution
1、报错信息
Diagnostic Messages for this Task:
Error: Java heap space
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2、根据提示加大了 HADOOP_HEAP 设置，但是错误依旧；
3、后来测试中，设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题
4、io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。
参考：
1、http://www.aboutyun.com/thread-7524-1-1.html
2、http://blog.csdn.net/sanms/article/details/11575143
3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html
Diagnostic Messages for this Task:
Error: Java heap space
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2、根据提示加大了 HADOOP_HEAP 设置，但是错误依旧；
3、后来测试中，设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题
4、io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配 默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。
参考：
1、http://www.aboutyun.com/thread-7524-1-1.html
2、http://blog.csdn.net/sanms/article/details/11575143
3、http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/539677
推荐阅读
相关标签
