容器启动失败 ERROR: for log Cannot start service log: OCI runtime create failed: container_linux.go:346_error: for gtyq-train-6868 cannot start service gt

完整错误信息：

ERROR: for log Cannot start service log: OCI runtime create failed: container_linux.go:346: starting container process caused “process_linux.go:319: getting the final child’s pid from pipe caused “EOF””: unknown

K8s集群突然启不了新服务了，通过日志发现 docker 报上面的错误信息。谷歌搜了一圈大多数都是内核版本低导致安装 Docker 后出现的问题。和我这里的情况明显不同。

通过 journactl -xe 发现内核报错：

kernel: Unable to create nf_conn slab cache

通过上面的错误信息找到了更有用的一些资料：

• Kubernetes 容器启动失败：unable to create nf_conn slab cache
• Github issues #37722 和 #31037
• 阿里云容器启动失败: failed to unshare namespaces, running exec setns process for init, Unable to create nf_co
• Linux的缓存机制及不同类型缓存的操作方法

根本原因是 linux 3.10 内核的 BUG，产生的原因是因为内存碎片过多，无法分配大块内存。

重启服务器能直接解决，如果不能重启可以参考最后一篇中的如下命令：

# 清理页面缓存
echo 1 > /proc/sys/vm/drop_caches 
# or 
sysctl -w vm.drop_caches=1
1
2
3
4

我在使用上面命令后，服务就能启动了，但是碎片仍然很严重，仍然存在很大的风险。

proc-buddyinfo 介绍
https://www.supportsages.com/what-is-proc-buddyinfo/
查看碎片率
https://www.cnblogs.com/10087622blog/p/8543792.html