running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used； 2.6 GB of_current usage: 2.6 gb of 2.5 gb physical memory us

作者：你好赵伟 | 2024-03-12 03:58:52

踩

current usage: 2.6 gb of 2.5 gb physical memory used; 4.8 gb of 5.3 gb virtu

昨天使用hadoop跑五一的数据，发现报错：
在这里插入图片描述

Container [pid=47660,containerID=container_1453101066555_4130018_01_000067] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 2.6 GB of 40 GB virtual memory used. Killing container.
1.
发现是内存溢出了，遇到这种问题首先要判断是map阶段溢出还是reduce阶段溢出，然后分别设置其内存的大小，比如：

在运行hive sql前加上：（map）
set mapreduce.map.memory.mb=2048
或者（reduce）
set mapreduce.reduce.memory.mb=2048

因为默认值都是：1024M，也就是一个G，如果不够就会溢出！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/221932?site