linux中运行docker等命令报 “no space left on device”（磁盘空间不足）问题排查过程以及经验总结_docker no space left on device

---

一、前言

1.1、问题描述：

生产环境linux中运行docker命令报“no space left on device”（磁盘空间不足),很多linux命令无法自动提示，从而进行一系列问题排查和处理。

1.2、问题排查过程：

1.2.1、查看系统磁盘空间大小：

遇到磁盘空间不够，首先需要查看磁盘空间

步骤一://查看磁盘使用情况，发现根目录空间已经不足，怀疑是docker导致的（下图非问题描述系统的截图，只供查看效果）

命令：df -Th

结果：发现根目录下磁盘空间不过，而且docker部署在根目录中，可能出现以下集中情况：
1、docker中废弃的none镜像过多占用空间大
2、docker服务产生的日志过多
3、根目录下废弃的文件太多需要处理

步骤二：先处理各目录下废弃文件

命令：du -sh  目录名称  //查看目录或者文件占用的内存大小
1

参数说明：
-a //显示目录中所有子目录和文件占用大小
-s //表示统计目录下占用的总空间大小

步骤三: 清理废弃文件，安装包以及目录后考虑处理docker中占用过大的服务日志和无用镜像和容器

1、Docker 清理none镜像

命令：docker system   Prune //清理容器中废弃的镜像，容器，网络等
1

详情可参考以下链接：
Docker 清理none镜像 Prune命令
docker-system-—— 一个全新的命令集合

2、清理日志
先查看日志所在目录
命令：docke info //查看docker部署的详细信息 可知docker部署在、/var/lib/docker中

在目录中会存在以目录名为前缀，以“-json.log”为后缀的目录文件。使用如下命令会看到该文件的大小：

ll -h
然后可使用如下命令对该文件的内容进行清理：
cat /dev/null > *-json.log  //此命令相当于删除日志放入回收站

df -h //再次查看磁盘占用情况，发现docker占用内存少了
1
2
3
4
5

shell编程之——cat /dev/null作用

步骤四：手动删除docker日志比较麻烦，应设置定时任务加脚本删除并且还需设置docker中日志最大占用量

1、脚本处理
如果针对此问题经常出来，手动每次进行清理特别麻烦，可采用脚本来进一步改进。比如设置一个查看的脚本docker_log_size.sh:

注意先查看docker的根目录位置，根据位置清理日志

echo "======== docker containers logs file size ========"
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
        do
             ls -lh $log
        done
同时，也可以通过脚本来清理：clean_docker_log.sh

echo "======== start clean docker containers logs ========"
logs=$(find /var/lib/docker/containers/ -name *-json.log)
for log in $logs
        do
                echo "clean logs : $log"
                cat /dev/null > $log
        done
echo "======== end clean docker containers logs ========"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

2、使用crontab定时任务设置（简单说明下命令）

参数说明：

crontab -e //创建定时任务定时执行脚本 保存退出即可，cron写的不对 有问题会报错
crontab -l 列出某个用户cron服务的详细内容
crontab -r 删除某个用户的cron服务(慎用)

linux中使用crontab创建定时任务

补充：
我们也可以设置docker允许日志的大小和个数
Docker限制日志文件大小

二、挂载磁盘分区，迁移docker根目录（清理日志和无用镜像等解决不了根本磁盘大小不足的问题）

2.1、背景：

docker部署在根目录中，根目录磁盘分区只有39g，日志和容器越多时间越久磁盘爆满。
服务器有一块没有挂载的lvs（逻辑卷 lsblk -l 查看挂载情况）

2.2、解决办法（个人想到2种）：

1、给原有根目录下磁盘扩容（适用于可以申请到新的磁盘，或者有磁盘没被使用的情况，不详解见下文链接）。
Linux磁盘扩容三种方式

2、将docker根目录迁个位置，新建目录绑定新分区，docker根目录迁移过来（不考虑给根目录扩容，规避风险，采取将docker根目录迁移的办法）。

2.3 、实现（个人选择上述第二种方式，把docker根目录迁移出来，用没挂载的磁盘挂载新建的根目录下面）

补充知识点：

2.3.1、磁盘挂载

【步骤】
创建2中新目录，然后执行挂载操作（因本系统有一块分区没有被挂载，考虑将其拿出一部分挂到docker新根目录下面）
【具体】：

查看挂载情况->根据分区空余磁盘创建物理卷->创建卷组->创建逻辑卷并分配空间->格式化新逻辑卷>挂载
1

准备物理卷：
pvcreate  /dev/sda3
使用以下命令检查物理卷的创建情况：
 pvdisplay
 #pvremove   /dev/sda3  //使用下列命令可以删除物理卷：
准备卷组（VG）:
 vgcreate   vg_cc  /dev/sda3
使用以下命令可以验证卷组：
vgdisplay 
使用以下命令删除卷组 ：
vgremove  vg_cc
 创建逻辑卷（LV）:
lvcreate  -L  150G  -n  lv_docker   vg_cc 
 使用以下命令查看逻辑卷：
lvdisplay
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

mkfs.xfs  /dev/vg_cc/lv_docker 
mkdir /var/lib/docker
mount  /dev/vg_cc/lv_docker   /var/lib/docker  //临时挂载
1
2
3

blkid //查看分区挂载点的 UUID

[root@SGH1VESPTST04 ~]# blkid
/dev/mapper/vg_centos7-root: UUID="919bf46a-4b59-4174-8bd2-9bb79f13a338" TYPE="xfs" 
/dev/sda2: UUID="5P1RHA-J4do-9YKR-e1uB-CysT-cmAq-QathT2" TYPE="LVM2_member" 
/dev/sda1: UUID="bb132ec7-b90e-45cd-8e3b-18539366bbff" TYPE="xfs" 
/dev/sda3: UUID="No5Jm6-4tRn-SUOv-g5Pj-ij3C-cAeR-Hj38yL" TYPE="LVM2_member" 
/dev/mapper/vg_cc-lv_docker: UUID="8103761e-e905-4130-9ee1-1b1e82417cfe" TYPE="xfs" 
/dev/mapper/vg_cc-lv_kubelet: UUID="169c4dba-9d04-41ca-b9e5-d7b1d39b82d5" TYPE="xfs" 
/dev/mapper/vg_cc-lv_glusterfs: UUID="1120d1d4-283c-4fa4-87d6-87777bc77c07" TYPE="xfs" 
1
2
3
4
5
6
7
8

vim /etc/fstab //永久挂载

/dev/mapper/vg_centos7-root                     /                               xfs     defaults        0 0
UUID=bb132ec7-b90e-45cd-8e3b-18539366bbff       /boot                           xfs     defaults        0 0
UUID=169c4dba-9d04-41ca-b9e5-d7b1d39b82d5       /dev/mapper/vg_cc-lv_kubelet    xfs     defaults        0 0 
UUID=1120d1d4-283c-4fa4-87d6-87777bc77c07       /dev/mapper/vg_cc-lv_glusterfs  xfs     defaults        0 0 
UUID=8103761e-e905-4130-9ee1-1b1e82417cfe       /dev/mapper/vg_cc-lv_docker     xfs     defaults        0 0 

1
2
3
4
5
6

df -Th 或者lsblk -l//查看挂载情况
[root@SGH1VESPTST04 ~]# df -Th

Filesystem                     Type      Size  Used Avail Use% Mounted on
/dev/mapper/vg_centos7-root    xfs        50G  1.6G   49G   4% /
devtmpfs                       devtmpfs   16G     0   16G   0% /dev
tmpfs                          tmpfs      16G     0   16G   0% /dev/shm
tmpfs                          tmpfs      16G  8.5M   16G   1% /run
tmpfs                          tmpfs      16G     0   16G   0% /sys/fs/cgroup
/dev/sda1                      xfs       197M  167M   31M  85% /boot
tmpfs                          tmpfs     3.2G     0  3.2G   0% /run/user/10159
/dev/mapper/vg_cc-lv_docker    xfs       150G   33M  150G   1% /var/lib/docker
/dev/mapper/vg_cc-lv_glusterfs xfs       300G   33M  300G   1% /gluster
/dev/mapper/vg_cc-lv_kubelet   xfs       100G   33M  100G   1% /var/lib/kubelet
1
2
3
4
5
6
7
8
9
10
11

【命令】
1、fdisk 磁盘名称 //分区命令
2、lsblk -l //查看挂载情况
3、blkid //查看文件的uuid
4、vim /etc/fstab //永久性修改磁盘挂载

【知识点】
Linux逻辑卷管理之pvcreate、pvdisplay和pvremove
Linux 实用指令 – 磁盘分区、挂载、查询磁盘使用情况
Linux下分区、挂载、删除分区说明
rsync—远程同步
systemctl daemon-reload 详解
/etc/fstab文件的详解

2.3.2、迁移docker根目录

【命令】

rsync -avz  //同步命令
systemctl daemon-reload   //daemon-reload: 重新加载某个服务的配置文件
1
2

【步骤】

1、停止docker服务。
 systemctl stop docker; //每个liunx版本的命令不一样。
 
2.迁移 /var/lib/docker 目录。

2.1 创建新的docker目录，执行命令df -h,找一个大的磁盘。 我在 /home目录下面建了 /home/docker/lib目录，执行的命令是：
mkdir -p /home/docker/lib

2.2 迁移/var/lib/docker目录下面的文件到 /home/docker/lib：
rsync -avz /var/lib/docker /home/docker/lib/

2.3：配置 /etc/systemd/system/docker.service.d/devicemapper.conf。查看 devicemapper.conf 是否存在。如果不存在，就新建。
sudo mkdir -p /etc/systemd/system/docker.service.d/
sudo vim /etc/systemd/system/docker.service.d/devicemapper.conf
2.4：然后在 devicemapper.conf 写入：（同步的时候把父文件夹一并同步过来，实际上的目录应在 /home/docker/lib/docker ）
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd  --graph=/home/docker/lib/docker

2.5：重新加载 docker
systemctl daemon-reload 
systemctl restart docker 
systemctl enable docker

2.6 检查
docker info
2.7 启动成功后，再确认之前的镜像还在：
docker ps -a
docker images
2.8 确定容器没问题后删除/var/lib/docker/目录中的文件。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

三、总结
注意点：不要随意格式化一个已经挂载并且使用了的磁盘，本文档后续持续更新内容~~