devbox
小蓝xlanll
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

go 计算文件sha-256_关于Docker文件系统

作者：小蓝xlanll | 2024-04-23 18:34:31

赞

踩

docker load sha256

阅读原文请移步博客。

目的

调查 Docker 的文件系统 - 有哪些文件系统。 - 关于文件系统。 - 有什么特征。 - 介绍 Docker 分层文件系统概念。 - 通过实例验证文件系统分层，以及复用。

Docker 的文件系统

  • 首先应该想到的是 aufs。

aufs 已经是比较古老的了。

实际上有以下集中类型可供使用。

| 存储驱动 | 支持的文件系统 | | --- | --- | | overlay, overlay2 | xfs, ext4 | | devicemapper | direct-lvm, loopback-lvm | | aufs | xfs, ext4 | | btrfs | btrfs | | zfs | zfs | | vfs | 其他文件系统 |

  • 关于各种存储驱动的应用场景，可以参考官方文档Suitability for your workload。

注: aufs 在 Fedora、CentOS 上没有被支持。

默认的文件系统是什么？

目前官方推荐 overlay2 ，如果 OS 支持，在首次安装 Docker 便会采用此文件系统。以前有过默认采用 aufs 的年代，如果已经安装了 Docker 并使用 aufs，更新版本时仍会使用。

  • 如何查看当前使用的storage driver？docker infobash $ docker info Containers: 34 Running: 16 Paused: 0 Stopped: 18 Images: 13 Server Version: 18.09.4 Storage Driver: overlay2 Backing Filesystem: xfs Supports d_type: true Native Overlay Diff: true Logging Driver: json-file Cgroup Driver: systemd

DeviceMapper

  • DeviceMapper 由2个磁盘构成，分别是 metadata 和 data。
  • 拥有 Thin-Provisioning 功能。

ee2f68700782a6259a1f7138aaafffaf.png

DeviceMapper 与 LVM 的关系

  • DeviceMapper 使用 LVM。
  • Direct LVM
  • Loopback LVM

有以上2种方式。

  • mount 方式不一样。

861da1e0173692589370edf0f389130a.png

OverlayFS

  • OverlayFS是什么?
  • lowerdir: 作为基层的目录
  • upperdir: 覆盖在基层状态目录上的目录

由以上部分组成，创建成如下的镜像:

550e615b1eea03a20f087a961f91513e.png

为什么要分层?

  • Docker 在设计时，就充分利用 Union FS 的技术，将其设计为分层存储的架构。镜像实际是由多层文件系统联合组成。
  • 镜像构建时，会一层层构建，前一层是后一层的基础。每一层构建完就不会再发生改变，后一层上的任何改变只发生在自己这一层。

比如，删除前一层文件的操作，实际不是真的删除前一层的的文件，而是仅在当前层标记为该文件已删除。在最终容器运行的时候，虽然不会看到这个文件，但是实际上该文件会一直跟随镜像。因此，在构建镜像的时候，需要额外小心，每一层尽量只包含该层需要的添加的东西，任何额外的东西应该在该层构建结束前清理掉。

  • 分层存储的特征还使得镜像的复用、定制变得更为容易。甚至可以用之前构建好的镜像作为基础层，然后进一步添加新的层，以定制自己所需的内容，构建新的镜像。

如何看分层?如何看分层复用?

  1. # pull a new image
  2. $ docker pull busybox
  3. Using default tag: latest
  4. latest: Pulling from library/busybox
  5. fc1a6b909f82: Pull complete
  6. Digest: sha256:954e1f01e80ce09d0887ff6ea10b13a812cb01932a0781d6b0cc23f743a874fd
  7. Status: Downloaded newer image for busybox:latest
  8. $ clear
  9. $ ls -lht
  10. 总用量 12K
  11. drwx------. 3 root root     30 4月  13 16:05 289e5e2a228b1ff909050212126a2fa99dd6f2665134a19770e5b7eea50b2e86
  12. drwx------. 2 root root   8.0K 4月  13 16:05 l
  13. # be aware of 'docker/overlay2/l' is recording image layers' connection
  14. $ pwd
  15. /var/lib/docker/overlay2/l
  16. $ ls -lht | head -n5
  17. 总用量 0
  18. lrwxrwxrwx. 1 root root 72 4月  13 16:38 HN6VUXSR7NBMXZW37AIXRTEUTM -> ../7b36dab9d59a60efcd4a3995971ad062a25e6a390bf3f3e897292d53503a466d/diff
  19. lrwxrwxrwx. 1 root root 77 4月  13 16:38 Y4QZHPBVBNBITRHGYYVM5TDHDY -> ../7b36dab9d59a60efcd4a3995971ad062a25e6a390bf3f3e897292d53503a466d-init/diff
  20. lrwxrwxrwx. 1 root root 72 4月  13 16:38 V6CDQKWZHYWB5JVR5DVERURLCD -> ../202659682f2b0823d72cd8316717bbfd494dee22e85efd092d782d3927b04fed/diff
  21. lrwxrwxrwx. 1 root root 77 4月  13 16:38 LCXZSOCIBLIKGLXHDKQV52ZKXG -> ../202659682f2b0823d72cd8316717bbfd494dee22e85efd092d782d3927b04fed-init/diff
  22. $
  23. # let's check out what is in busybox image's filesystem
  24. $ pwd
  25. /var/lib/docker/overlay2/289e5e2a228b1ff909050212126a2fa99dd6f2665134a19770e5b7eea50b2e86
  26. $ ls -lh
  27. 总用量 4.0K
  28. drwxr-xr-x. 10 root root 96 4月  13 16:05 diff
  29. -rw-r--r--.  1 root root 26 4月  13 16:05 link
  30. $ cd diff
  31. $ ls -lh
  32. 总用量 16K
  33. drwxr-xr-x. 2 root  root  12K 4月   2 12:32 bin
  34. drwxr-xr-x. 2 root  root    6 4月   2 12:32 dev
  35. drwxr-xr-x. 3 root  root   79 4月   2 12:33 etc
  36. drwxr-xr-x. 2 65534 65534   6 4月   2 12:32 home
  37. drwx------. 2 root  root    6 4月   2 12:32 root
  38. drwxrwxrwt. 2 root  root    6 4月   2 12:32 tmp
  39. drwxr-xr-x. 3 root  root   18 4月   2 12:32 usr
  40. drwxr-xr-x. 4 root  root   30 4月   2 12:32 var
  41. $ cd usr
  42. $ ls -lh
  43. 总用量 0
  44. drwxr-xr-x. 2 bin bin 6 4月   2 12:32 sbin
  45. $
  46. # build my image
  47. $ docker build -t go-server-9860 .
  48. Sending build context to Docker daemon  7.311MB
  49. Step 1/5 : FROM busybox
  50.  ---> af2f74c517aa
  51. Step 2/5 : MAINTAINER https://github.com/aruruka
  52.  ---> Running in f50d07d89177
  53. Removing intermediate container f50d07d89177
  54.  ---> d02fd95709de
  55. Step 3/5 : COPY server_9860 /usr/local/bin/
  56.  ---> 94f0965b4ce9
  57. Step 4/5 : WORKDIR /usr/local/bin/
  58.  ---> Running in f0afc045a941
  59. Removing intermediate container f0afc045a941
  60.  ---> cc90efd3c240
  61. Step 5/5 : ENTRYPOINT ["server_9860"]
  62.  ---> Running in 51ca3dd962ec
  63. Removing intermediate container 51ca3dd962ec
  64.  ---> 2f31d1b7c458
  65. Successfully built 2f31d1b7c458
  66. Successfully tagged go-server-9860:latest
  67. # check out upper layer's contents
  68. # layer link info is in 'lower' file
  69. $ pwd ; ls
  70. /var/lib/docker/overlay2/1fbb0c7d6b69db147dea4de13b70dad9cc2c98536869c3a53082ad961836403d
  71. diff  link  lower  work
  72. $ cat lower
  73. l/UFX72NO2WA4Y7EELEHYCA6YXNZ$
  74. # newer file will be in 'diff' dir
  75. $ pwd
  76. /var/lib/docker/overlay2/1fbb0c7d6b69db147dea4de13b70dad9cc2c98536869c3a53082ad961836403d/diff/usr/local/bin
  77. $ ls -lh
  78. 总用量 7.0M
  79. -rwxrwxr-x. 1 root root 7.0M 4月  13 16:23 server_9860
  80. $
  81. # use docker history command to verify image content
  82. $ docker images | sed -n '1p;/go-server/Ip'
  83. REPOSITORY                                                                       TAG                 IMAGE ID            CREATED             SIZE
  84. go-server-9860                                                                   latest              2f31d1b7c458        24 hours ago        8.51MB
  85. $ docker history go-server-9860
  86. IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
  87. 2f31d1b7c458        24 hours ago        /bin/sh -c #(nop)  ENTRYPOINT ["server_9860"]   0B
  88. cc90efd3c240        24 hours ago        /bin/sh -c #(nop) WORKDIR /usr/local/bin/       0B
  89. 94f0965b4ce9        24 hours ago        /bin/sh -c #(nop) COPY file:f7a8106426c88c00…   7.31MB
  90. d02fd95709de        24 hours ago        /bin/sh -c #(nop)  MAINTAINER https://github…   0B
  91. af2f74c517aa        11 days ago         /bin/sh -c #(nop)  CMD ["sh"]                   0B
  92. <missing>           11 days ago         /bin/sh -c #(nop) ADD file:6051b0ebe4098ccbb…   1.2MB
  93. $

容器层

  1. # run a container by the image I just build and observe filesystem's change
  2. $ docker run -d --name go-server-9860 -p 127.0.0.1:9860:9860/tcp --rm go-server-9860
  3. [root@lab-01 1fbb0c7d6b69db147dea4de13b70dad9cc2c98536869c3a53082ad961836403d]# mount | grep overlay
  4. overlay on /var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/merged type overlay (rw,relatime,seclabel,lowerdir=/var/lib/docker/overlay2/l/ZEHVHEBBCDTTPJNQSCPZEU5MTC:/var/lib/docker/overlay2/l/7XHO5S33QZEIRZFKS4N4GZCPCO:/var/lib/docker/overlay2/l/UFX72NO2WA4Y7EELEHYCA6YXNZ,upperdir=/var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/diff,workdir=/var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/work)

确认容器层下面的层级以及文件是否被复用

  1. # check go-server container's id
  2. $ docker ps
  3. CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS                      NAMES
  4. 65a25b310253        go-server-9860      "server_9860"       5 hours ago         Up 5 hours          127.0.0.1:9860->9860/tcp   go-server-9860
  5. # determine container's filesystem directory
  6. $ docker inspect --format='{{json .GraphDriver.Data.MergedDir}}' 65a25b310253
  7. "/var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/merged"
  8. $ cd /var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/merged
  9. $ cd usr/local/bin
  10. $ ls -lh
  11. 总用量 7.0M
  12. # be careful of the inode of the program
  13. -rwxrwxr-x. 1 root root 7.0M 4月  13 16:23 server_9860
  14. $ ls -i server_9860
  15. 33638603 server_9860
  16. # now let's find lower layers of the container layer
  17. $ cd /var/lib/docker/overlay2/ee0374838eb0133ee43da57551c49ccd7b63eb04b9221d02e50c4966cdbae440/merged
  18. $ cd ..
  19. $ ls -lh
  20. 总用量 8.0K
  21. drwxr-xr-x. 2 root root  6 4月  14 17:52 diff
  22. -rw-r--r--. 1 root root 26 4月  14 17:52 link
  23. -rw-r--r--. 1 root root 86 4月  14 17:52 lower
  24. drwxr-xr-x. 1 root root  6 4月  14 17:52 merged
  25. drwx------. 3 root root 18 4月  14 17:52 work
  26. $ cat lower
  27. l/ZEHVHEBBCDTTPJNQSCPZEU5MTC:l/7XHO5S33QZEIRZFKS4N4GZCPCO:l/UFX72NO2WA4Y7EELEHYCA6YXNZ$
  28. # the second lower layer would be the server_9860 file layer which was build by myself
  29. $ ls -AFlh /var/lib/docker/overlay2/l/7XHO5S33QZEIRZFKS4N4GZCPCO
  30. lrwxrwxrwx. 1 root root 72 4月  13 16:27 /var/lib/docker/overlay2/l/7XHO5S33QZEIRZFKS4N4GZCPCO -> ../1fbb0c7d6b69db147dea4de13b70dad9cc2c98536869c3a53082ad961836403d/diff/
  31. $ cd /var/lib/docker/overlay2/l/../1fbb0c7d6b69db147dea4de13b70dad9cc2c98536869c3a53082ad961836403d/diff/
  32. $ ls -lh
  33. 总用量 0
  34. drwxr-xr-x. 3 root root 19 4月  13 16:27 usr
  35. $ cd usr/local/bin
  36. $ ls -lh
  37. 总用量 7.0M
  38. -rwxrwxr-x. 1 root root 7.0M 4月  13 16:23 server_9860
  39. # be aware of the inode is as same as the file in container's layer
  40. $ ls -i server_9860
  41. 33638603 server_9860
  42. $
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/475430
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号