Cannot allocate memory 的分析及解决方法

背景

拿到一台基于VMware的虚拟机，安装一个公司产品，包含各个组件（微服务），内存要求较高。

问题

安装产品过程中，出现如下问题：

 

问题分析

                   问题定位：无非就是软件安装时的问题或者服务器问题。但考虑到之前该产品已经在多台服务器、现场都进行了正常安装，优先排查问题的思路方向指向服务器上。

那目前情况必须要先连上服务器才行，找到服务器崩溃的日志分析下为什么会导致这种情况。

也试了很多次服务器确实无法连接登录，只能找下管理虚拟机的人员，帮忙强制重启下。重启完进入服务器后，确实发现JVM挂掉后产生的日志hs_err_pid18886.log

 

 

分析日志：

这个文件主要包含如下内容：

1. 日志头文件
2. 导致 crash 的线程信息
3. 所有线程信息
4. 安全点和锁信息
5. 堆信息
6. 本地代码缓存
7. 编译事件
8. gc 相关记录
9. jvm 启动参数
10. 服务器信息

 

怎么查看日志内容不做细讲，一般日志头文件会提供大概的问题所在及可以采取的措施，如下：

 

翻译大概如下：

#可能的原因：

#                 系统的物理RAM或交换空间不足

#                 进程在启用CompressedOops的情况下运行，Java堆可能会阻止本机堆的增长

#可能的解决方案：

#                 减少系统内存负载

#                 增加物理内存或交换空间

#                 检查交换备份存储是否已满

#                 减小Java堆大小（-Xmx/-Xms）

#                 减少Java线程数

#                 减少Java线程堆栈大小（-Xss）

#                 使用-XX:ReservedCodeCacheSize设置更大的代码缓存=

#                 JVM运行的是无标度的压缩Oops模式，其中Java堆是

#                 放在第一个4GB地址空间。Java堆基址是

#                 本机堆增长的最大限制。请使用-XX:HeapBaseMinAddress

#                 设置Java堆基并将Java堆放置在4GB虚拟地址之上

 

咋一看是怀疑内存不足，但截取日志中服务器信息一看，内存还有许多剩余，应该不是该原因，排除。

 

                   看到提供的可能的解决方案中有需要减少java线程数，联想到服务器的进程数是不是满了，首先查看服务器最大进程数 sysctl kernel.pid_max

 

                   接着一查看进程数ps -eLf | wc –l，16149远远还没到32768啊，那肯定也不是进程数满了的原因，排除。

 

                   看下安装过程中的日志信息，提供的有用日志信息（Not enough space）如下：

 

                   没有足够的空间？服务器无法分配足够的空间了，然后对服务器上的内存和磁盘使用情况（如下图）进行再次核实，是还有剩余的，那到底是什么原因导致有内存却无法分配呢？

 

 

                   Linux下有个内核参数overcommit_memory，是内存分配策略，程序在启动的时候会先去申请内存，尽管不一定都会用的到那么多。

overcommit_memory此参数决定是否接受超大内存请求的条件。这个参数有三个可能的值：

0 — 默认设置。内核执行启发式内存过量使用处理，方法是估算可用内存量，并拒绝明显无效的请求。遗憾的是因为内存是使用启发式而非准确算法计算进行部署，这个设置有时可能会造成系统中的可用内存超载。

1 — 内核执行无内存过量使用处理。使用这个设置会增大内存超载的可能性，但也可以增强大量使用内存任务的性能。

2 — 内存拒绝等于或者大于总可用 swap 大小以及overcommit_ratio指定的物理RAM比例的内存请求。如果您希望减小内存过度使用的风险，这个设置就是最好的。

 

                   而系统目前的overcommit_memory是为2

 

目前的内存申请和可用情况cat /proc/meminfo | grep Commit

 

       #CommitLimit 表示系统可申请的总内存

#Committed_AS为当前已经申请的内存

 

CommitLimit=75743028 KB和Committed_AS=74870856 KB两个值很接近，且overcommit_memory=2。而我们那么多的内存为什么申请不到呢？答案就是被别的程序申请占用了，尽管这些内存没有实际用到，却也无法再让另外的程序进行申请。如果申请时发现无法申请到足够的内存就会报此错误。

我们顺便再理解下什么是Overcommit和OOM：

                   Linux对大部分申请内存的请求都回复"yes"，以便能跑更多更大的程序。因为申请内存后，并不会马上使用内存。这种技术叫做Overcommit。当linux发现内存不足时，会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程，不是内核线程)，以便释放内存。

当oom-killer发生时，linux会选择杀死哪些进程？选择进程的函数是oom_badness函数(在mm/oom_kill.c中)，该函数会计算每个进程的点数(0~1000)。点数越高，这个进程越有可能被杀死。每个进程的点数跟oom_score_adj有关，而且oom_score_adj可以被设置(-1000最低，1000最高)。

 

解决方法

很简单，将vm.overcommit_memory设为1即可。

有三种方式修改内核参数，但要有root权限：

1. 编辑/etc/sysctl.conf ，改vm.overcommit_memory=1，然后sysctl -p使配置文件生效
2. sysctl vm.overcommit_memory=1
3. echo 1 > /proc/sys/vm/overcommit_memory，然后sysctl –p永久生效

 

参数修改生效后，重启进行验证，验证OK。