docker镜像管理基础

docker镜像管理基础

镜像的概念

镜像可以理解为应用程序的集装箱，而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。

docker镜像采用分层构建机制，最底层为bootfs，其上为rootfs

• bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启动完成后会被卸载以节约内存资源
• rootfs：位于bootfs之上，表现为docker容器的根文件系统
  • 传统模式中，系统启动之时，内核挂载rootfs会首先将其挂载为“只读”模式，完整性自检完成后将其重新挂载为读写模式
  • docker中，rootfs由内核挂载为“只读”模式，而后通过“联合挂载”技术额外挂载一个“可写”层

注意：当删除容器时，这个容器自有的“可写”层会一起被删除

docker镜像层

位于下层的镜像称为父镜像（parrent image），最底层的称为基础镜像（base image）；
最上层为“可读写”层，其下的均为“只读”层。

docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像，下面是常用的几种存储驱动：

• AUFS
• OverlayFS
• Devicemapper
• Btrfs
• VFS

AUFS

AUFS（AnotherUnionFS）是一种Union FS，是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统，把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的，只有最上层的文件系统是可写的。当需要修改一个文件时，AUFS创建该文件的一个副本，使用CoW将文件从只读层复制到可写层进行修改，结果也保存在可写层。在Docker中，底下的只读层就是image，可写层就是Container。

AUFS文件系统据说有3W行代码，而ext4文件系统却只有4000-5000行左右代码，这些代码是要被整合进内核的，后来AUFS申请要被合并进内核代码的时候，linuz觉得它这代码太过臃肿，于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统，想用AUFS这个文件系统的话，必须自己向内核打补丁并去编译使用它，但redhat系列的操作系统一向以稳定著称，不会干这种出格的事，所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

OverlayFS

Overlay是Linux内核3.18后支持的，也是一种Union FS，和AUFS的多层不同的是Overlay只有两层：一个upper文件系统和一个lower文件系统，分别代表Docker的镜像层和容器层。当需要修改一个文件时，使用CoW将文件从只读的lower复制到可写的upper进行修改，结果也保存在upper层。在Docker中，底下的只读层就是image，可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统，但AUFS有多层，而Overlay只有两层，所以在做写时复制操作时，如果文件比较大且存在比较低的层，则AUSF会慢一些。而且Overlay并入了linux kernel mainline，AUFS没有。目前AUFS已基本被淘汰。

DeviceMapper

Device mapper是Linux内核2.6.9后支持的，提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储，而Device mapper是块级存储，所有的操作都是直接对块进行操作，而不是文件。Device mapper驱动会先在块设备上创建一个资源池，然后在资源池上创建一个带有文件系统的基本设备，所有镜像都是这个基本设备的快照，而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照，并没有为容器分配空间。当要写入一个新文件时，在容器的镜像内为其分配新的块并写入数据，这个叫用时分配。当要修改已有文件时，再使用CoW为容器快照分配块空间，将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显然要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。因为块级的是直接访问逻辑盘，适合IO密集的场景。而对于程序内部复杂，大并发但少IO的场景，Overlay的性能相对要强一些。

docker registry

启动容器时，docker daemon会试图从本地获取相关的镜像，本地镜像不存在时，其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，亦可使用官方的Docker Hub。

docker registry的分类：

• Sponsor Registry：第三方的Registry，供客户和Docker社区使用
• Mirror Registry：第三方的Registry，只让客户使用
• Vendor Registry：由发布docker镜像的供应商提供的registry
• Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成：

• Repository
  • 由某特定的docker镜像的所有迭代版本组成的镜像仓库
  • 一个Registry中可以存在多个Repository
    • Repository可分为“顶层仓库”和“用户仓库”
    • 用户仓库名称格式为“用户名/仓库名”
  • 每个仓库可包含多个Tag(标签)，每个标签对应一个镜像
• Index
  • 维护用户帐户、镜像的检验以及公共命名空间的信息
  • 相当于为Registry提供了一个完成用户认证等功能的检索接口

Docker Registry中的镜像通常由开发人员制作，而后推送至“公共”或“私有”Registry上保存，供其他人员使用，例如“部署”到生产环境。

docker镜像的制作

多数情况下，我们做镜像是基于别人已存在的某个基础镜像来实现的，我们把它称为base image。比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢？其实这个基础镜像一般是由Docker Hub的相关维护人员，也就是Docker官方手动制作的。这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的，但对于终端用户来说就不是那么容易制作的了。

Docker Hub

Docker Hub 是一项基于云的registry的服务，允许将链接到代码仓库、构建镜像并对其进行测试、存储手动推送的镜像以及链接到 Docker Cloud，以便将镜像部署到主机。

它为容器镜像的发现，分发和更改管理，用户和团队协作以及整个开发管道中的工作流程自动化提供了集中式资源。

图片1

Docker Hub 提供以下主要功能：

镜像仓库（Image Repositories）

​ 从社区和官方仓库中查找和提取镜像，以及管理、推送和提取您有权访问的私有镜像仓库。

自动构建（Automated Builds）

​ 在对源代码存储库进行更改时自动创建新图像。

钩子（Webhooks）

​ 作为自动构建的一项功能，Webhook 允许您在成功推送到镜像仓库后触发一个操作。

组织（Organizations）

​ 创建工作组以管理对镜像仓库的访问。

GitHub 和 Bitbucket Integration

​ 将Hub和 Docker 镜像添加到当前工作流中（集成）。

docker镜像的获取

要从远程镜像仓库（或者自己的 Docker 镜像仓库）获取 Docker 镜像并将其添加到本地系统，请使用 docker pull 命令：

# docker pull <registry>[:<port>]/[<namespace>/]<name>:<tag>
1

是在 TCP 上提供 docker 分发服务的主机（默认值：5000）

识别由注册中心控制的特定镜像

• 一些registries还支持行级的;对于那些是可选的
• 但是，当它被包含时，提供的附加层次结构级别对于区分具有相同层次结构的镜像是非常有用的一个工具。

附加层次结构级别

镜像的生成

镜像的生成途径：

• Dockerfile
• 基于容器制作
• Docker Hub automated builds

基于容器制作镜像

Create a new image from container’s changes

Usage：

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
1

[root@localhost ~]# docker pull centos
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@localhost ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
centos       latest    5d0da3dc9764   2 months ago   231MB
[root@localhost ~]#

[root@localhost ~]# docker run -dit centos /bin/bash
50a13a6d62dfc6649ba58e167550596351413cbd01a185fa01a01b010e7e2718
[root@localhost ~]# docker ps 
CONTAINER ID   IMAGE     COMMAND       CREATED         STATUS         PORTS     NAMES
50a13a6d62df   centos    "/bin/bash"   4 seconds ago   Up 3 seconds             dazzling_stonebraker
[root@localhost ~]#
[root@localhost ~]# docker exec -it dazzling_stonebraker /bin/bash
[root@829947547f38 /]# yum -y install pcre-devel openssl openssl-devel gd-devel gcc gcc-c++ make wget
[root@829947547f38 /]# yum -y group mark install "Development Tools"
Last metadata expiration check: 0:02:03 ago on Thu 02 Dec 2021 08:29:33 AM UTC.
Dependencies resolved.
==================================================================================
 Package            Architecture      Version            Repository          Size
==================================================================================
Installing Groups:
 Development Tools                                                               

Transaction Summary
==================================================================================

Complete!

[root@829947547f38 /]# useradd -r -M -s /sbin/nologin nginx

[root@829947547f38 ~]# mkdir -p /var/log/nginx

[root@829947547f38 local]# wget http://nginx.org/download/nginx-1.20.1.tar.gz
--2021-12-02 08:33:59--  http://nginx.org/download/nginx-1.20.1.tar.gz
Resolving nginx.org (nginx.org)... 3.125.197.172, 52.58.199.22, 2a05:d014:edb:5702::6, ...
Connecting to nginx.org (nginx.org)|3.125.197.172|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1061461 (1.0M) [application/octet-stream]
Saving to: ‘nginx-1.20.1.tar.gz’

nginx-1.20.1.tar.gz  100%[====================>]   1.01M   224KB/s    in 4.6s    

2021-12-02 08:34:04 (224 KB/s) - ‘nginx-1.20.1.tar.gz’ saved [1061461/1061461]
[root@829947547f38 local]# ls
bin  games    lib    libexec              sbin   src
etc  include  lib64  nginx-1.20.1.tar.gz  share
[root@829947547f38 local]# tar xf nginx-1.20.1.tar.gz  
[root@829947547f38 local]# ls
bin  games    lib    libexec       nginx-1.20.1.tar.gz  share
etc  include  lib64  nginx-1.20.1  sbin                 src

[root@829947547f38 local]# cd nginx-1.20.1
[root@829947547f38 nginx-1.20.1]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-debug --with-http_ssl_module --with-http_realip_module --with-http_image_filter_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_stub_status_module --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log
checking for OS
 + Linux 4.18.0-257.el8.x86_64 x86_64
checking for C compiler ... found
 + using GNU C compiler
 + gcc version: 8.5.0 20210514 (Red Hat 8.5.0-4) (GCC) 
checking for gcc -pipe switch ... found
checking for -Wl,-E switch ... found
checking for gcc builtin atomic operations ... found
checking for C99 variadic macros ... found
[root@829947547f38 nginx-1.20.1]# make && make install


[root@829947547f38 local]# /usr/local/nginx/sbin/nginx 
[root@829947547f38 local]# ss -antl
State    Recv-Q   Send-Q     Local Address:Port     Peer Address:Port   Process   
LISTEN   0        128              0.0.0.0:80            0.0.0.0:*  


[root@localhost ~]# docker rm -f elastic_clarke 
elastic_clarke
[root@localhost ~]# docker run -itd 1225514225/nginx:v1.0 /usr/local/nginx/sbin/nginx
bdec948fe739a2c228a7e0a57608c8979d3f0dd06220c0da47e42d61ce68759e
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                   COMMAND                  CREATED         STATUS        PORTS     NAMES
bdec948fe739   1225514225/nginx:v1.0   "/usr/local/nginx/sb…"   2 seconds ago   Up 1 second             upbeat_panini
[root@localhost ~]#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85

在创建镜像时，我们不能关闭容器，必须使其处于运行状态，所以我们必须要另起一个终端，然后执行

[root@localhost ~]# docker commit upbeat_panini 1225514225/nginx:v2.0
sha256:779333eb1a3953525f69e75c28ab706ccc36c67fdeec0694ba107ea64b6bc92d
[root@localhost ~]# docker ps -a 
CONTAINER ID   IMAGE                   COMMAND                  CREATED          STATUS          PORTS     NAMES
bdec948fe739   1225514225/nginx:v1.0   "/usr/local/nginx/sb…"   31 seconds ago   Up 30 seconds             upbeat_panini
[root@localhost ~]# docker images 
REPOSITORY         TAG       IMAGE ID       CREATED              SIZE
1225514225/nginx   v2.0      779333eb1a39   9 seconds ago        601MB
1225514225/nginx   v1.0      c26a4fe7138b   About a minute ago   601MB
centos             latest    5d0da3dc9764   2 months ago         231MB
[root@localhost ~]#
1
2
3
4
5
6
7
8
9
10
11

再将我们做好的镜像push到docker hub 上去

[root@localhost ~]# docker login 
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: 1225514226
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
[root@localhost ~]# docker push 1225514226/nginx:v2.0 
The push refers to repository [docker.io/1225514226/nginx]
5e4f4eb1844a: Pushed 
641dae4347e8: Pushed 
74ddd0ec08fa: Pushed 
v2.0: digest: sha256:b85b3cf032d16d3843f0050a2a4a141aae208197055fb9d1b6b05beeee1a9f50 size: 949
[root@localhost ~]#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

使用新生成的镜像创建容器

[root@localhost ~]# docker run -id --name nginx 1225514226/nginx:v2.0
Unable to find image '1225514226/nginx:v2.0' locally
v2.0: Pulling from 1225514226/nginx
a1d0c7532777: Already exists 
7314ba44be3d: Pull complete 
53a4c9066547: Pull complete 
Digest: sha256:b85b3cf032d16d3843f0050a2a4a141aae208197055fb9d1b6b05beeee1a9f50
Status: Downloaded newer image for 1225514226/nginx:v2.0
7172b0373175be2240fff9a55b693a0000ec36b8b7c6bd48a8e99429069df4f6
[root@localhost ~]# docker ps
CONTAINER ID   IMAGE                   COMMAND                  CREATED              STATUS              PORTS     NAMES
7172b0373175   1225514226/nginx:v2.0   "/usr/local/nginx/sb…"   About a minute ago   Up About a minute             nginx
[root@localhost ~]#
1
2
3
4
5
6
7
8
9
10
11
12
13

用curl命令访问该IP，看是否能访问到网页

[root@localhost ~]# docker inspect nginx 

                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.2",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:02",
                    "DriverOpts": null
                }
            }
        }
    }
]
[root@localhost ~]# curl 172.17.0.2
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@localhost ~]#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

镜像的导入与导出

假如有2台主机，我们在主机1上做了一个镜像，主机2想用这个镜像怎么办呢？

我们可以在主机1上push镜像到镜像仓库中，然后在主机2上pull把镜像拉下来使用，这种方式就显得比较麻烦，假如我只是测试用的，在一台主机上做好镜像后在另一台主机上跑一下就行了，没必要推到仓库上然后又把它拉到本地来。

此时我们可以在已有镜像的基础上把镜像打包成一个压缩文件，然后拷贝到另一台主机上将其导入，这就是镜像的导入和导出功能。

docker中我们使用进行导出，使用进行导入。docker save``docker load

在已生成镜像的主机上执行docker save导出镜像

docker save -o myimages.gz 1225514226/b1
1

在另一台没有镜像的主机上执行docker load导入镜像

docker load -i myimages.gz
1