当前位置:   article > 正文

一文弄懂Docker基本使用_docker 使用

docker 使用

初识Docker

什么是Docker

微服务虽然具备各种各样的优势,但服务的拆分通用给部署带来了很大的麻烦。

  • 分布式系统中,依赖的组件非常多,不同组件之间部署时往往会产生一些冲突。
  • 在数百上千台服务中重复部署,环境不一定一致,会遇到各种问题

应用部署的环境问题

大型项目组件较多,运行环境也较为复杂,部署时会碰到一些问题:

  • 依赖关系复杂,容易出现兼容性问题

  • 开发、测试、生产环境有差异

在这里插入图片描述

例如一个项目中,部署时需要依赖于node.js、Redis、RabbitMQ、MySQL等,这些服务部署时所需要的函数库、依赖项各不相同,甚至会有冲突。给部署带来了极大的困难。

Docker解决依赖兼容问题

而Docker确巧妙的解决了这些问题,Docker是如何实现的呢?

Docker为了解决依赖的兼容问题的,采用了两个手段:

  • 将应用的Libs(函数库)、Deps(依赖)、配置与应用一起打包

  • 将每个应用放到一个隔离容器去运行,避免互相干扰

在这里插入图片描述

这样打包好的应用包中,既包含应用本身,也保护应用所需要的Libs、Deps,无需再操作系统上安装这些,自然就不存在不同应用之间的兼容问题了。

虽然解决了不同应用的兼容问题,但是开发、测试等环境会存在差异,操作系统版本也会有差异,怎么解决这些问题呢?

Docker解决操作系统环境差异

要解决不同操作系统环境差异问题,必须先了解操作系统结构。以一个Ubuntu操作系统为例,结构如下:

在这里插入图片描述

结构包括:

  • 计算机硬件:例如CPU、内存、磁盘等
  • 系统内核:所有Linux发行版的内核都是Linux,例如CentOS、Ubuntu、Fedora等。内核可以与计算机硬件交互,对外提供内核指令,用于操作计算机硬件。
  • 系统应用:操作系统本身提供的应用、函数库。这些函数库是对内核指令的封装,使用更加方便。

应用于计算机交互的流程如下:

1)应用调用操作系统应用(函数库),实现各种功能

2)系统函数库是对内核指令集的封装,会调用内核指令

3)内核指令操作计算机硬件

Ubuntu和CentOSpringBoot都是基于Linux内核,无非是系统应用不同,提供的函数库有差异:

在这里插入图片描述

此时,如果将一个Ubuntu版本的MySQL应用安装到CentOS系统,MySQL在调用Ubuntu函数库时,会发现找不到或者不匹配,就会报错了:

在这里插入图片描述

Docker如何解决不同系统环境的问题?

  • Docker将用户程序与所需要调用的系统(比如Ubuntu)函数库一起打包
  • Docker运行到不同操作系统时,直接基于打包的函数库,借助于操作系统的Linux内核来运行

如图:

在这里插入图片描述

小结

Docker如何解决大型项目依赖关系复杂,不同组件依赖的兼容性问题?

  • Docker允许开发中将应用、依赖、函数库、配置一起打包,形成可移植镜像
  • Docker应用运行在容器中,使用沙箱机制,相互隔离

Docker如何解决开发、测试、生产环境有差异的问题?

  • Docker镜像中包含完整运行环境,包括系统函数库,仅依赖系统的Linux内核,因此可以在任意Linux操作系统上运行

Docker是一个快速交付应用、运行应用的技术,具备下列优势:

  • 可以将程序及其依赖、运行环境一起打包为一个镜像,可以迁移到任意Linux操作系统
  • 运行时利用沙箱机制形成隔离容器,各个应用互不干扰
  • 启动、移除都可以通过一行命令完成,方便快捷

Docker和虚拟机的区别

Docker可以让一个应用在任何操作系统中非常方便的运行。而以前我们接触的虚拟机,也能在一个操作系统中,运行另外一个操作系统,保护系统中的任何应用。

两者有什么差异呢?

虚拟机(virtual machine)是在操作系统中模拟硬件设备(使用Hypervisor进行硬件模拟),然后运行另一个操作系统,比如在 Windows 系统里面运行 Ubuntu 系统,这样就可以运行任意的Ubuntu应用了。

Docker仅仅是封装函数库,并没有模拟完整的操作系统,如图:

在这里插入图片描述

对比来看:

在这里插入图片描述

小结:

Docker和虚拟机的差异:

  • docker是一个系统进程;虚拟机是在操作系统中的操作系统

  • docker体积小、启动速度快、性能好;虚拟机体积大、启动速度慢、性能一般

Docker架构

镜像和容器

Docker中有几个重要的概念:

  • 镜像(Image):Docker将应用程序及其所需的依赖、函数库、环境、配置等文件打包在一起,称为镜像。

  • 容器(Container):镜像中的应用程序运行后形成的进程就是容器,只是Docker会给容器进程做隔离,对外不可见。

一切应用最终都是代码组成,都是硬盘中的一个个的字节形成的文件。只有运行时,才会加载到内存,形成进程。

镜像,就是把一个应用在硬盘上的文件、及其运行环境、部分系统函数库文件一起打包形成的文件包。这个文件包是只读的。

镜像中的文件包是只读的,这样镜像才不会被污染,而如果要写数据的话,它会将镜像中的相应文件包拷贝一份到自己的独立文件系统中(也就是容器中),这样就体现了隔离的特性,容器与容器之间相互不会影响。

容器呢,就是将这些文件中编写的程序、函数加载到内存中允许,形成进程,只不过要隔离起来。因此一个镜像可以启动多次,形成多个容器进程。

在这里插入图片描述

例如你下载了一个QQ,如果我们将QQ在磁盘上的运行文件及其运行的操作系统依赖打包,形成QQ镜像。然后你可以启动多次,双开、甚至三开QQ。

在这里插入图片描述

DockerHub

开源应用程序非常多,打包这些应用往往是重复的劳动。为了避免这些重复劳动,人们就会将自己打包的应用镜像,例如Redis、MySQL镜像放到网络上,共享使用,就像GitHub的代码共享一样。

  • DockerHub:DockerHub是一个官方的Docker镜像的托管平台。这样的平台称为Docker Registry。

  • 国内也有类似于DockerHub 的公开服务,比如 网易云镜像服务阿里云镜像库等。

我们一方面可以将自己的镜像共享到DockerHub,另一方面也可以从DockerHub拉取镜像:

在这里插入图片描述

Docker架构

我们要使用Docker来操作镜像、容器,就必须要安装Docker。

Docker是一个CS架构的程序,由两部分组成:

  • 服务端(server):Docker守护进程,负责处理Docker指令,管理镜像、容器等

  • 客户端(client):通过命令或RestAPI向Docker服务端发送指令。可以在本地或远程向服务端发送指令。

如图:

在这里插入图片描述

Docker 的守护进程(dockerd)是一个在后台运行的服务,负责接收和处理 Docker 客户端发来的请求,以及管理 Docker 的对象,如容器、镜像、网络和卷。Docker 的守护进程还可以与其他的 Docker 守护进程通信,实现集群和服务的协调。Docker 的守护进程可以通过不同的方式启动和配置,如使用 systemd、init.d、docker.service.d 等。Docker 的守护进程还可以通过 TCP、Unix 套接字或 TLS 来提供远程访问。Docker 的守护进程是 Docker 的核心组件,它实现了 Docker 的主要功能和特性。

小结

镜像:

  • 将应用程序及其依赖、环境、配置打包在一起

容器:

  • 镜像运行起来就是容器,一个镜像可以运行多个容器

Docker结构:

  • 服务端:接收命令或远程请求,操作镜像或容器

  • 客户端:发送命令或者请求到Docker服务端

DockerHub:

  • 一个镜像托管的服务器,类似的还有阿里云镜像服务,统称为DockerRegistry

Docker实现核心

在这里插入图片描述

Docker 是一种基于 Linux 的应用容器引擎,它可以让开发者将应用程序和运行环境打包成一个轻量级、可移植的容器,然后在任何支持 Docker 的机器上运行,实现虚拟化和隔离。Docker 的实现原理主要涉及以下几个方面:

  • 命名空间(Namespaces):Docker 使用 Linux 的命名空间机制来实现进程、网络、文件系统等资源的隔离,使得每个容器都有自己的独立视图,互不干扰。
  • 控制组(Cgroups):Docker 使用 Linux 的控制组机制来限制和分配容器的 CPU、内存、磁盘、网络等资源,防止容器占用过多的系统资源。
  • 联合文件系统(Union File System):Docker 使用联合文件系统来构建和管理容器的镜像,实现镜像的分层、共享和快速复制。Docker 支持多种类型的联合文件系统,如 AUFS、OverlayFS、Btrfs 等。
  • 容器运行时(Container Runtime):Docker 使用容器运行时来创建和运行容器,管理容器的生命周期和状态。Docker 支持多种类型的容器运行时,如 runc、containerd、cri-o 等。
  • Docker Registry:Docker 使用 Docker Registry 来存储和分发容器的镜像,实现镜像的版本控制和远程部署。Docker Registry 可以是公共的,如 Docker Hub,也可以是私有的,如 Harbor。

安装Docker

企业部署一般都是采用Linux操作系统,而其中又数CentOS发行版占比最多,因此我们在CentOS下安装Docker。

Docker 分为 CE 和 EE 两大版本。CE 即社区版(免费,支持周期 7 个月),EE 即企业版,强调安全,付费使用,支持周期 24 个月。
Docker CE 分为 stable testnightly 三个更新频道。
官方网站上有各种环境下的 安装指南,这里主要介绍 Docker CE 在 CentOS上的安装。

注意:
Docker CE 支持 64 位版本 CentOS 7,并且要求内核版本不低于 3.10, CentOS 7 满足最低内核的要求,所以我们在CentOS 7安装Docker。

卸载(可选)

如果之前安装过旧版本的Docker,可以使用下面命令卸载:

yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine \
                  docker-ce
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

安装docker

首先需要大家虚拟机联网,安装yum工具

yum install -y yum-utils \
           device-mapper-persistent-data \
           lvm2 --skip-broken
  • 1
  • 2
  • 3

然后更新本地镜像源:

# 设置docker镜像源
yum-config-manager \
    --add-repo \
    https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
    
sed -i 's/download.docker.com/mirrors.aliyun.com\/docker-ce/g' /etc/yum.repos.d/docker-ce.repo

yum makecache fast
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

然后输入命令:

yum install -y docker-ce
  • 1

docker-ce为社区免费版本。稍等片刻,docker即可安装成功。

启动docker

Docker应用需要用到各种端口,逐一去修改防火墙设置。非常麻烦,因此建议大家直接关闭防火墙!

启动docker前,一定要关闭防火墙!!

# 关闭
systemctl stop firewalld
# 禁止开机启动防火墙
systemctl disable firewalld
  • 1
  • 2
  • 3
  • 4

通过命令启动docker:

systemctl start docker  # 启动docker服务

systemctl stop docker  # 停止docker服务

systemctl restart docker  # 重启docker服务

systemctl enable docker #开机自启docker服务
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

然后输入命令,可以查看docker版本:

docker -v
  • 1

如图:

在这里插入图片描述

配置镜像加速

docker官方镜像仓库网速较差,我们需要设置国内镜像服务:

参考阿里云的镜像加速文档:
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

Docker的基本操作

镜像操作

镜像名称

首先来看下镜像的名称组成:

  • 镜名称一般分两部分组成:[repository]:[tag]。
  • 在没有指定tag时,默认是latest,代表最新版本的镜像

如图:

在这里插入图片描述

这里的mysql就是repository,5.7就是tag,合一起就是镜像名称,代表5.7版本的MySQL镜像。

镜像命令

常见的镜像操作命令如图:

在这里插入图片描述

案例-拉取、查看镜像

需求:从DockerHub中拉取一个nginx镜像并查看

1)首先去镜像仓库搜索nginx镜像,比如DockerHub:

在这里插入图片描述

2)根据查看到的镜像名称,拉取自己需要的镜像,通过命令:docker pull nginx

在这里插入图片描述

3)通过命令:docker images 查看拉取到的镜像

在这里插入图片描述

案例-保存、导入镜像

需求:利用docker save将nginx镜像导出磁盘,然后再通过load加载回来

1)利用docker xx --help命令查看docker save和docker load的语法

例如,查看save命令用法,可以输入命令:

docker save --help
  • 1

结果:

在这里插入图片描述

命令格式:

docker save -o [保存的目标文件名称] [镜像名称]
  • 1

2)使用docker save导出镜像到磁盘

运行命令:

docker save -o nginx.tar nginx:latest
  • 1

结果如图:

在这里插入图片描述

3)使用docker load加载镜像

先删除本地的nginx镜像:

docker rmi nginx:latest
  • 1

然后运行命令,加载本地文件:

docker load -i nginx.tar
  • 1

使用-q可以不显示日志内容,也就是安静加载。

结果:

在这里插入图片描述

容器操作

容器相关命令

容器操作的命令如图:

在这里插入图片描述

容器保护三个状态:

  • 运行:进程正常运行
  • 暂停:进程暂停,CPU不再运行,并不释放内存
  • 停止:进程终止,回收进程占用的内存、CPU等资源

其中:

  • docker run:创建并运行一个容器,处于运行状态

  • docker pause:让一个运行的容器暂停

  • docker unpause:让一个容器从暂停状态恢复运行

  • docker stop:停止一个运行的容器

  • docker start:让一个停止的容器再次运行

  • docker rm:删除一个容器

案例-创建并运行一个容器

创建并运行nginx容器的命令:

docker run --name containerName -p 80:80 -d nginx
  • 1

命令解读:

  • docker run :创建并运行一个容器
  • --name : 给容器起一个名字,比如叫做mn
  • -p :将宿主机端口与容器端口映射,冒号左侧是宿主机端口,右侧是容器端口
  • -d:后台运行容器
  • nginx:镜像名称,例如nginx

这里的-p参数,是将容器端口映射到宿主机端口。

默认情况下,容器是隔离环境,我们直接访问宿主机的80端口,肯定访问不到容器中的nginx。

现在,将容器的80与宿主机的80关联起来,当我们访问宿主机的80端口时,就会被映射到容器的80,这样就能访问到nginx了:

在这里插入图片描述

然后我们使用docker ps命令查看容器运行状态:
在这里插入图片描述
然后我们使用如下命令查看日志:

docker logs [-f] 容器名
  • 1

在这里插入图片描述
我们使用-f参数可以持续监控,ctrl+c停止监控:
在这里插入图片描述

案例-进入容器,修改文件

需求:进入Nginx容器,修改HTML文件内容,添加自定义内容

步骤

1)进入容器。进入我们刚刚创建的nginx容器的命令为:

docker exec -it mn bash
  • 1

命令解读:

  • docker exec :进入容器内部,执行一个命令

  • -it : 给当前进入的容器创建一个标准输入、输出终端,允许我们与容器交互

  • mn :要进入的容器的名称

  • bash:进入容器后执行的命令,bash是一个linux终端交互命令

2)进入nginx的HTML所在目录 /usr/share/nginx/html

容器内部会模拟一个独立的Linux文件系统,看起来如同一个linux服务器一样:

在这里插入图片描述

nginx的环境、配置、运行文件全部都在这个文件系统中,包括我们要修改的html文件。

查看DockerHub网站中的nginx页面,可以知道nginx的html目录位置在/usr/share/nginx/html

我们执行命令,进入该目录:

cd /usr/share/nginx/html
  • 1

查看目录下文件:

在这里插入图片描述

3)修改index.html的内容

容器内没有vi命令,无法直接修改,我们用下面的命令来修改:

sed -i -e 's#Welcome to nginx#十八岁讨厌编程#g' -e 's#<head>#<head><meta charset="utf-8">#g' index.html
  • 1

当然这个地方我们如果觉得这个sed命令太麻烦,我们可以自行安装vim,不过不推荐这种形式,因为里边的文件是临时的,容器被删除之后,配置就失效了,需要从新配置:

apt-get update
apt-get install vim
  • 1
  • 2

其实在容器内修改文件是不推荐的。因为首先第一点就是不方便,有些命令不能使用。第二点是我们在容器内修改文件是没有记录的,时间长了不方便维护。

在浏览器访问自己的虚拟机地址,即可看到结果:

在这里插入图片描述
我们使用如下命令退出与容器内部的交互:

exit
  • 1

注意:

  • 如果我们想删除一个运行中的容器,需要使用-f参数强行删除
  • ps命令默认只会显示正在运行中的容器,如果想查看暂停中的容器,可以添加-a参数

小结

docker run命令的常见参数有哪些?

  • –name:指定容器名称
  • -p:指定端口映射
  • -d:让容器后台运行

查看容器日志的命令:

  • docker logs
  • 添加 -f 参数可以持续查看日志

查看容器状态:

  • docker ps
  • docker ps -a 查看所有容器,包括已经停止的

删除容器:

  • docker rm
  • 不能删除运行中的容器,除非添加-f参数

进入容器:

  • 命令是docker exec -it [容器名] [要执行的命令]
  • exec命令可以进入容器修改文件,但是在容器内修改文件是不推荐的

数据卷(容器数据管理)

在之前的nginx案例中,修改nginx的html页面时,需要进入nginx内部。并且因为没有编辑器,修改文件也很麻烦。

这就是因为容器与数据(容器内文件)耦合带来的后果。

在这里插入图片描述

要解决这个问题,必须将数据与容器解耦,这就要用到数据卷了。

什么是数据卷

数据卷(volume) 是一个虚拟目录,指向宿主机文件系统中的某个目录。
在这里插入图片描述

一旦完成数据卷挂载,对容器的一切操作都会作用在数据卷对应的宿主机目录了。

这样,我们操作宿主机的/var/lib/docker/volumes/html目录,就等于操作容器内的/usr/share/nginx/html目录了

数据集操作命令

数据卷操作的基本语法如下:

docker volume [COMMAND]
  • 1

docker volume命令是数据卷操作,根据命令后跟随的command来确定下一步的操作:

  • create 创建一个volume
  • inspect 显示一个或多个volume的信息
  • ls 列出所有的volume
  • prune 删除未使用的volume
  • rm 删除一个或多个指定的volume

创建和查看数据卷

需求:创建一个数据卷,并查看数据卷在宿主机的目录位置

① 创建数据卷

docker volume create html
  • 1

② 查看所有数据卷

docker volume ls
  • 1

结果:

在这里插入图片描述

③ 查看数据卷详细信息卷

docker volume inspect html
  • 1

结果:

在这里插入图片描述

可以看到,我们创建的html这个数据卷关联的宿主机目录为/var/lib/docker/volumes/html/_data目录。

小结

数据卷的作用:

  • 将容器与数据分离,解耦合,方便操作容器内数据,保证数据安全

数据卷操作:

  • docker volume create:创建数据卷
  • docker volume ls:查看所有数据卷
  • docker volume inspect:查看数据卷详细信息,包括关联的宿主机目录位置
  • docker volume rm:删除指定数据卷
  • docker volume prune:删除所有未使用的数据卷

挂载数据卷

我们在创建容器时,可以通过 -v 参数来挂载一个数据卷到某个容器内目录,命令格式如下:

docker run \
  --name mn \
  -v html:/root/html \
  -p 8080:80
  nginx \
  • 1
  • 2
  • 3
  • 4
  • 5

这里的-v就是挂载数据卷的命令:

  • -v html:/root/htm :把html数据卷挂载到容器内的/root/html这个目录中

案例-给nginx挂载数据卷

需求:创建一个nginx容器,修改容器内的html目录内的index.html内容

分析:上个案例中,我们进入nginx容器内部,已经知道nginx的html目录所在位置/usr/share/nginx/html ,我们需要把这个目录挂载到html这个数据卷上,方便操作其中的内容。

提示:运行容器时使用 -v 参数挂载数据卷

步骤:

① 创建容器并挂载数据卷到容器内的HTML目录

docker run --name mn -v html:/usr/share/nginx/html -p 80:80 -d nginx
  • 1

挂载数据卷的时候如果这个数据卷没有创建,docker会自动帮你创建

② 进入html数据卷所在位置,并修改HTML内容

# 查看html数据卷的位置
docker volume inspect html
# 进入该目录
cd /var/lib/docker/volumes/html/_data
# 修改文件
vi index.html
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

如果你使用了远程连接工具,还可以直接使用本地的编辑器进行修改

在这里插入图片描述
效果如下:
在这里插入图片描述

案例-给MySQL挂载本地目录

容器不仅仅可以挂载数据卷,也可以直接挂载到宿主机目录上。关联关系如下:

  • 带数据卷模式:宿主机目录 --> 数据卷 —> 容器内目录
  • 直接挂载模式:宿主机目录 —> 容器内目录

如图:

在这里插入图片描述

语法

目录挂载与数据卷挂载的语法是类似的:

  • -v [宿主机目录]:[容器内目录]
  • -v [宿主机文件]:[容器内文件]

需求:创建并运行一个MySQL容器,将宿主机目录直接挂载到容器

实现思路如下:

  • 拉取Mysql镜像(这里使用的是5.7.25版本)

  • 创建目录/tmp/mysql/data

  • 创建目录/tmp/mysql/conf,将自己的hmy.cnf文件上传到/tmp/mysql/conf

  • 去DockerHub查阅资料,创建并运行MySQL容器,要求:

    • 挂载/tmp/mysql/data到mysql容器内数据存储目录

    • 挂载/tmp/mysql/conf/hmy.cnf到mysql容器的配置文件

③ 设置MySQL密码

创建命令如下:

docker run \
  --name mymysql \
  -e MYSQL_ROOT_PASSWORD=XXXXXXXXXX \
  -p 3306:3306 \
  -v /tmp/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf \
  -v /tmp/mysql/data:/var/lib/mysql \
  -d mysql:5.7.25
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

记录两个常用的命令:
登录mysql:mysql -uroot -p
进入docker容器:docker exec -it 容器名 bash
我们创建了mysql的容器之后,使用navicat进行连接的时候,如果是mysql8可能会报错,因为主要原因是因为mysql8使用的是caching_sha2_password加密方式,而mysql8之前使用的加密方式是“mysql_native_passowrd",所以我们将加密方式改回mysql_native_passowrd即可。
进入mysql后执行如下语句:
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '你的密码';
在这里插入图片描述
注意这里我这里有两个root用户,所以我还执行了一次
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '你的密码';
具体可以参考下面的文章:
安装mysql 8.0后navicat不能连接的解决方法

总结:

docker run的命令中通过 -v 参数挂载文件或目录到容器中:

  • -v volume名称:容器内目录
  • -v 宿主机文件:容器内文件
  • -v 宿主机目录:容器内目录

数据卷挂载与目录直接挂载的区别:
在这里插入图片描述

  • 数据卷挂载耦合度低,由docker来管理目录,但是目录较深,不好找
  • 目录挂载耦合度高,需要我们自己管理目录,不过目录容易寻找查看

Dockerfile自定义镜像

常见的镜像在DockerHub就能找到,但是我们自己写的项目就必须自己构建镜像了。

而要自定义镜像,就必须先了解镜像的结构才行。

镜像结构

镜像是将应用程序及其需要的系统函数库、环境、配置、依赖打包而成。

我们以MySQL为例,来看看镜像的组成结构:

在这里插入图片描述

镜像是分层结构,每一层称为一个Layer;

  • BaseImage层:包含基本的系统函数库、环境变量、文件系统
  • Entrypoint:入口,是镜像中应用启动的命令
  • 其他:在BaseImage基础上添加依赖、安装程序、完成整个应用的安装和配置

简单来说,镜像就是在系统函数库、运行环境基础上,添加应用程序文件、配置文件、依赖文件等组合,然后编写好启动脚本打包在一起形成的文件。

我们要构建镜像,其实就是实现上述打包的过程。

Dockerfile语法

构建自定义的镜像时,并不需要一个个文件去拷贝,打包。

我们只需要告诉Docker,我们的镜像的组成,需要哪些BaseImage、需要拷贝什么文件、需要安装什么依赖、启动脚本是什么,将来Docker会帮助我们构建镜像。

而描述上述信息的文件就是Dockerfile文件。

Dockerfile就是一个文本文件,其中包含一个个的指令(Instruction),用指令来说明要执行什么操作来构建镜像。每一个指令都会形成一层Layer
在这里插入图片描述

这里的EXPOSE命令只是指定容器运行时监听的端口,并不是说指定去哪个端口访问容器里的服务。

更新详细语法说明,请参考官网文档: https://docs.docker.com/engine/reference/builder

构建Java项目

基于Ubuntu构建Java项目

需求:基于Ubuntu镜像构建一个新镜像,运行一个java项目

将以下三个文件复制到一个新的文件夹中(这里就叫docker-demo):

  • Dockerfile文件
  • JDK8的压缩包
  • 还有你的项目文件

在这里插入图片描述

其中Dockerfile文件的内容如下:

# 指定基础镜像
FROM ubuntu:16.04
# 配置环境变量,JDK的安装目录
ENV JAVA_DIR=/usr/local

# 拷贝jdk和java项目的包
COPY ./jdk8.tar.gz $JAVA_DIR/
COPY ./docker-demo.jar /tmp/app.jar

# 安装JDK
RUN cd $JAVA_DIR \
 && tar -xf ./jdk8.tar.gz \
 && mv ./jdk1.8.0_144 ./java8

# 配置环境变量
ENV JAVA_HOME=$JAVA_DIR/java8
ENV PATH=$PATH:$JAVA_HOME/bin

# 暴露端口
EXPOSE 8090
# 入口,java项目的启动命令
ENTRYPOINT java -jar /tmp/app.jar
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

然后我们在docker-demo的文件夹下运行命令:

docker build -t javaweb:1.0 .
  • 1

最后访问 http://192.168.150.101:8090/hello/count,其中的ip改成你的虚拟机ip

基于java8构建Java项目

虽然我们可以基于Ubuntu基础镜像,添加任意自己需要的安装包,构建镜像,但是却比较麻烦。所以大多数情况下,我们都可以在一些安装了部分软件的基础镜像上做改造。
例如,构建java项目的镜像,可以在已经准备了JDK的基础镜像基础上构建。

需求:基于java:8-alpine镜像,将一个Java项目构建为镜像

实现思路如下:

  • ① 新建一个空的目录,然后在目录中新建一个文件,命名为Dockerfile

  • ② 拷贝docker-demo.jar到这个目录中

  • ③ 编写Dockerfile文件:

    • a )基于java:8-alpine作为基础镜像

    • b )将app.jar拷贝到镜像中

    • c )暴露端口

    • d )编写入口ENTRYPOINT

      内容如下:

      FROM java:8-alpine
      COPY ./app.jar /tmp/app.jar
      EXPOSE 8090
      ENTRYPOINT java -jar /tmp/app.jar
      
      • 1
      • 2
      • 3
      • 4
  • ④ 使用docker build命令构建镜像

  • ⑤ 使用docker run创建容器并运行

关于Dockerfile文件中的COPY:
他表示将本地文件拷贝到镜像的指定目录,这个命令时必须要有的
格式: COPY <src> <dest>
详解:
<src>:可以是 Dockerfile 所在目录的一个相对路径(文件或目录)
<dest>:可以是镜像内绝对路径,或者相对于工作目录(WORKDIR)的相对路径
路径:支持正则表达式, COPY test* /tmp

说一下docker build命令,当然你直接–help也可以:

docker build [OPTIONS] PATH | URL | -
  • 1

我们一般使用-t规定标签名:
在这里插入图片描述
然后我们运行容器:

docker run --name web -p 8090:8090 -d javaweb:1.0
  • 1

最后访问一下,还是成功的;
在这里插入图片描述

小结:

  1. Dockerfile的本质是一个文件,通过指令描述镜像的构建过程

  2. Dockerfile的第一行必须是FROM,从一个基础镜像来构建

  3. 基础镜像可以是基本操作系统,如Ubuntu。也可以是其他人制作好的镜像,例如:java:8-alpine

Docker-Compose

Docker Compose可以基于Compose文件帮我们快速的部署分布式应用,而无需手动一个个创建和运行容器!

在这里插入图片描述

初识DockerCompose

Compose文件是一个文本文件,通过指令定义集群中的每个容器如何运行。格式如下:

version: "3.8"
 services:
  mysql:
    image: mysql:5.7.25
    environment:
     MYSQL_ROOT_PASSWORD: 123 
    volumes:
     - "/tmp/mysql/data:/var/lib/mysql"
     - "/tmp/mysql/conf/hmy.cnf:/etc/mysql/conf.d/hmy.cnf"
  web:
    build: .
    ports:
     - "8090:8090"

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

上面的Compose文件就描述一个项目,其中包含两个容器:

  • mysql:一个基于mysql:5.7.25镜像构建的容器,并且挂载了两个目录
  • web:一个基于docker build临时构建的镜像容器,映射端口时8090

DockerCompose的详细语法参考官网:https://docs.docker.com/compose/compose-file/

其实DockerCompose文件可以看做是将多个docker run命令写到一个文件,只是语法稍有差异。

安装DockerCompose

这里实在centos7环境下进行安装

第一步:下载

Linux下需要通过命令下载:

# 安装
curl -L https://github.com/docker/compose/releases/download/1.23.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
  • 1
  • 2

若是github访问太慢,可以用daocloud下载

sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
  • 1

我们这里把下载好的文件放到/usr/local/bin/目录下

第二步:修改文件权限

修改文件权限:

# 修改权限
chmod +x /usr/local/bin/docker-compose
  • 1
  • 2

第三步:Base自动补全命令:

# 补全命令
curl -L https://raw.githubusercontent.com/docker/compose/1.29.1/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose
  • 1
  • 2

如果这里出现错误,需要修改自己的hosts文件:

echo "199.232.68.133 raw.githubusercontent.com" >> /etc/hosts
  • 1

部署微服务集群

需求:我们将一个简单的微服务项目部署到docker中
在这里插入图片描述
还有nacos、Mysql

实现思路

① 编写好每一个服务的Dockerfile文件,然后再编写docker-compose文件

② 修改自己的cloud-demo项目,将数据库、nacos地址都命名为docker-compose中的服务名

③ 使用maven打包工具,将项目中的每个微服务都打包为app.jar

④ 将打包好的app.jar拷贝到cloud-demo中的每一个对应的子目录中

⑤ 将cloud-demo上传至虚拟机,利用 docker-compose up -d 来部署

compose文件

这个cloud-demo文件夹,里面已经编写好了docker-compose文件,而且每个微服务都准备了一个独立的目录:

在这里插入图片描述

内容如下:

version: "3.2"

services:
  nacos:
    image: nacos/nacos-server
    environment:
      MODE: standalone
    ports:
      - "8848:8848"
  mysql:
    image: mysql:5.7.25
    environment:
      MYSQL_ROOT_PASSWORD: 123
    volumes:
      - "$PWD/mysql/data:/var/lib/mysql"
      - "$PWD/mysql/conf:/etc/mysql/conf.d/"
  userservice:
    build: ./user-service
  orderservice:
    build: ./order-service
  gateway:
    build: ./gateway
    ports:
      - "10010:10010"
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

可以看到,其中包含5个service服务:

  • nacos:作为注册中心和配置中心
    • image: nacos/nacos-server: 基于nacos/nacos-server镜像构建
    • environment:环境变量
      • MODE: standalone:单点模式启动
    • ports:端口映射,这里暴露了8848端口
  • mysql:数据库
    • image: mysql:5.7.25:镜像版本是mysql:5.7.25
    • environment:环境变量
      • MYSQL_ROOT_PASSWORD: 123:设置数据库root账户的密码为123
    • volumes:数据卷挂载,这里挂载了mysql的data、conf目录,其中有我提前准备好的数据
  • userserviceorderservicegateway:都是基于Dockerfile临时构建的

查看mysql目录,可以看到其中已经准备好了cloud_order、cloud_user表:

在这里插入图片描述

查看微服务目录,可以看到都包含Dockerfile文件:

在这里插入图片描述

内容如下:

FROM java:8-alpine
COPY ./app.jar /tmp/app.jar
ENTRYPOINT java -jar /tmp/app.jar
  • 1
  • 2
  • 3

修改微服务配置

因为微服务将来要部署为docker容器,而容器之间互联不是通过IP地址,而是通过容器名。这里我们将order-service、user-service、gateway服务的mysql、nacos地址都修改为基于容器名的访问。

如下所示:

spring:
  datasource:
    url: jdbc:mysql://mysql:3306/cloud_order?useSSL=false
    username: root
    password: 123
    driver-class-name: com.mysql.jdbc.Driver
  application:
    name: orderservice
  cloud:
    nacos:
      server-addr: nacos:8848 # nacos服务地址
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

这个地方值得我们注意一下:
这篇文章到这里为止,我们所知道与容器进行通信的方法有两种:
第一个就是直接获取容器的ip地址。这种方法非常的不方便,抛开与容器内部的交互获取ip不谈,容器重启之后ip是会发生变化的,而我们采用的是硬编码,所以这种方法我们不考虑。
第二种方法就是通过宿主机的ip加上容器暴露出的端口号来通信,简而言之就是通过宿主机与容器进行通信。这种通信方式比较单一,只能依靠监听在暴露出的端口的进程来进行有限的通信。
所以这里我们选择的是第三种方法:同一个宿主机上的容器之间可以通过自定义的容器名称相互访问,这种方法我们称之为link机制。通过docker的link机制可以通过一个name来和另一个容器通信,link机制方便了容器去发现其它的容器并且可以安全的传递一些连接信息给其它的容器。
那么link机制是怎么实现的呢?
这其实是通过给/etc/hosts中加入名称和IP的解析关系来实现的,也就是通过修改host文件。而当我们目标容器重启,docker会负责更新/etc/hosts文件,因此可以不用担心容器重启后IP地址发生了改变,解析无法生效的问题。

打包

接下来需要将我们的每个微服务都打包。因为之前查看到Dockerfile中的jar包名称都是app.jar,因此我们的每个微服务都需要用这个名称。

可以通过修改pom.xml中的打包名称来实现,每个微服务都需要修改:

<build>
  <!-- 服务打包的最终名称 -->
  <finalName>app</finalName>
  <plugins>
    <plugin>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-maven-plugin</artifactId>
    </plugin>
  </plugins>
</build>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

打包后:

在这里插入图片描述

拷贝jar包到部署目录

编译打包好的app.jar文件,需要放到Dockerfile的同级目录中。注意:每个微服务的app.jar放到与服务名称对应的目录,别搞错了。

user-service:

在这里插入图片描述

order-service:

在这里插入图片描述

gateway:

在这里插入图片描述

部署

最后,我们需要将文件整个cloud-demo文件夹上传到虚拟机中,理由DockerCompose部署。

上传到任意目录:

在这里插入图片描述

部署:

进入cloud-demo目录,然后运行下面的命令:

docker-compose up -d
  • 1

使用Java操作Docker

前置准备

使用Docker-Java:https://github.com/docker-java/docker-java

官方入门:https://github.com/docker-java/docker-java/blob/main/docs/getting_started.md

先引入依赖:

        <dependency>
            <groupId>com.github.docker-java</groupId>
            <artifactId>docker-java</artifactId>
            <version>3.3.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.github.docker-java/docker-java-transport-httpclient5 -->
        <dependency>
            <groupId>com.github.docker-java</groupId>
            <artifactId>docker-java-transport-httpclient5</artifactId>
            <version>3.3.0</version>
        </dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

我们辨析几个相似的概念:

  • DockerClientConfig:用于定义初始化DockerClient的配置(类比MySQL的连接、线程数配置)
  • DockerHttpClient:用于向Docker守护进程(操作Docker的接口)发送请求的客户端,低层封装(不推荐使用),你要自己构建请求参数(简单地理解成JDBC)
  • DockerClient(推荐):才是真正和Docker守护进程交互的、最方便的SDK,高层封装,对DockerHttpClient再进行了一层封装(理解成MyBatis),提供了现成的增删改查

这里我们使用的时候直接使用默认配置:

DockerClient dockerClient = DockerClientBuilder.getInstance().build();
  • 1

这种默认配置也就是说你的docker就在本地。

远程开发

因为Docker是基于linux内核的,而我们使用Java操作Docker其本质同样也是命令操作。而这些命令我们是要放在linux中去运行的,但是这个时候我们的代码是在本地也就是windows中的,此时我们就可以使用远程开发。

方法1:远程同步

我们先使用IDEA的 Development 先上传代码到Linux中,然后使用JetBrains远程开发完全连接linux实时开发。

在这里插入图片描述

在这里插入图片描述

然后我们配置一下文件夹的映射:

在这里插入图片描述

接下来我们右键项目文件夹将整个项目同步到linux中去

在这里插入图片描述
然后我们还可以配置,本地文件更新的时候远端的文件跟着更新:

在这里插入图片描述
这个时候我们在终端中(有一个下拉框可以找到远程主机)就可以远程操纵linux了:
在这里插入图片描述
例如如果是maven项目我们就可以使用mvn spring-boot:run命令来跑这个项目了。

同时我们也可以查看远程主机的目录结构:
在这里插入图片描述

方法2

其本质就是使用本地的idea打开远端的项目

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
idea会在远端安装一个新的idea,本地相当于只是一个显示窗口。

我们运行程序之后会出现Cannot run的错误,我们可以在远端的setting里面增加一个配置就行:
在这里插入图片描述

如果还是启动失败:

  • 增加权限
  • 重启虚拟机、远程开发环境、程序

常用操作

拉取镜像

        // 拉取镜像
        String image = "nginx:latest";
        PullImageCmd pullImageCmd = dockerClient.pullImageCmd(image);
        PullImageResultCallback pullImageResultCallback = new PullImageResultCallback() {
            @Override
            public void onNext(PullResponseItem item) {
                System.out.println("下载镜像:" + item.getStatus());
                super.onNext(item);
            }
        };
        pullImageCmd
                .exec(pullImageResultCallback)
                .awaitCompletion();
        System.out.println("下载完成");
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

docker-java中的PullImageResultCallback是一个实现了ResultCallback接口的类,它用于处理拉取镜像的结果。它可以在拉取过程中接收到镜像的层信息,以及在拉取完成后接收到镜像的摘要信息。它还可以重写onComplete和onNext方法,来自定义拉取成功或失败时的逻辑。

例如,上面的代码片段展示了如何使用PullImageResultCallback来拉取一个镜像,并在控制台打印出拉取的进度和结果

PullImageResultCallback中的onNext方法和onComplete方法的区别是

  • onNext方法是在每次接收到镜像的层信息时被调用,可以用来显示拉取的进度或者处理层信息。
  • onComplete方法是在拉取完成后被调用,可以用来显示拉取的结果或者执行其他逻辑。

onNext方法和onComplete方法都是继承自ResultCallback接口的抽象方法,可以根据需要重写。一般来说,onNext方法会被多次调用,而onComplete方法只会被调用一次。如果在拉取过程中发生异常,onError方法会被调用,而onComplete方法不会被调用

创建容器

        // 创建容器
        CreateContainerCmd containerCmd = dockerClient.createContainerCmd(image);
        CreateContainerResponse createContainerResponse = containerCmd
                .withCmd("echo", "Hello Docker")
                .exec();
        System.out.println(createContainerResponse);
        String containerId = createContainerResponse.getId();
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

withCmd使用来在在执行创建容器的时候附加一些命令

当然我们在创建容器的时候还能指定一些系统方面的配置,例如下面的代码:

        CreateContainerCmd containerCmd = dockerClient.createContainerCmd(image);
        HostConfig hostConfig = new HostConfig();
        hostConfig.withMemory(100 * 1000 * 1000L);
        hostConfig.withMemorySwap(0L);
        hostConfig.withCpuCount(1L);
        hostConfig.withSecurityOpts(Arrays.asList("seccomp=安全管理配置字符串"));
        hostConfig.setBinds(new Bind(userCodeDir, new Volume("/app")));
        CreateContainerResponse createContainerResponse = containerCmd
                .withHostConfig(hostConfig)
                .withNetworkDisabled(true)
                .withReadonlyRootfs(true)
                .withAttachStdin(true)
                .withAttachStderr(true)
                .withAttachStdout(true)
                .withTty(true)
                .exec();
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

这段代码的作用是使用docker-java库来创建一个docker容器,并设置一些容器的配置参数。具体来说:

  • CreateContainerCmd containerCmd = dockerClient.createContainerCmd(image); 这一行是创建一个创建容器的命令对象,指定要使用的镜像名称。
  • HostConfig hostConfig = new HostConfig(); 这一行是创建一个主机配置对象,用于设置容器的资源限制和安全选项等。
  • hostConfig.withMemory(100 * 1000 * 1000L); 这一行是设置容器的内存限制为100MB。
  • hostConfig.withMemorySwap(0L); 这一行是设置容器的交换空间为0,即禁用交换空间。
  • hostConfig.withCpuCount(1L); 这一行是设置容器的CPU核数为1。
  • hostConfig.withSecurityOpts(Arrays.asList("seccomp=安全管理配置字符串")); 这一行是设置容器的安全选项,使用seccomp配置文件来限制容器的系统调用。
  • hostConfig.setBinds(new Bind(userCodeParentPath, new Volume("/app"))); 这一行是设置容器的数据卷绑定,将宿主机的userCodeParentPath目录挂载到容器的/app目录。
  • CreateContainerResponse createContainerResponse = containerCmd.withHostConfig(hostConfig) 这一行是将主机配置对象附加到创建容器的命令对象上。
  • .withNetworkDisabled(true) 这一行是设置容器的网络为禁用状态。
  • .withReadonlyRootfs(true) 这一行是设置容器的根文件系统为只读状态。
  • .withAttachStdin(true) 这一行是设置容器的标准输入为附加状态,即可以从容器接收输入。
  • .withAttachStderr(true) 这一行是设置容器的标准错误为附加状态,即可以从容器接收错误输出。
  • .withAttachStdout(true) 这一行是设置容器的标准输出为附加状态,即可以从容器接收正常输出。
  • .withTty(true) 这一行是设置容器的终端为启用状态,即可以与容器交互。
  • .exec(); 这一行是执行创建容器的命令,并返回一个创建容器的响应对象,包含容器的ID等信息。

查看容器状态

        // 查看容器状态
        ListContainersCmd listContainersCmd = dockerClient.listContainersCmd();
        List<Container> containerList = listContainersCmd.withShowAll(true).exec();
        for (Container container : containerList) {
            System.out.println(container);
        }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

启动容器

        dockerClient.startContainerCmd(containerId).exec();
  • 1

查看日志

        // 查看日志
        LogContainerResultCallback logContainerResultCallback = new LogContainerResultCallback() {
            @Override
            public void onNext(Frame item) {
                System.out.println(item.getStreamType());
                System.out.println("日志:" + new String(item.getPayload()));
                super.onNext(item);
            }
        };

		//阻塞等待日志输出
        dockerClient.logContainerCmd(containerId)
                .withStdErr(true)
                .withStdOut(true)
                .exec(logContainerResultCallback)
                .awaitCompletion();
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

删除容器

dockerClient.removeContainerCmd(containerId).withForce(true).exec();
  • 1

删除镜像

dockerClient.removeImageCmd(image).exec();
  • 1

在容器内执行命令

execCreateCmd和execStartCmd是docker-java中用于执行容器内的命令的两个方法。它们的区别是:

  • execCreateCmd是用于创建一个执行命令的对象,它需要指定要执行的容器ID和命令参数。它返回一个ExecCreateCmdResponse对象,包含执行命令的ID。
  • execStartCmd是用于启动一个执行命令的对象,它需要指定要启动的执行命令的ID。它返回一个ResultCallback对象,用于处理执行命令的输出和状态。

一般来说,execCreateCmd和execStartCmd需要配合使用,先创建一个执行命令,再启动它。例如,下面的代码片段展示了如何使用execCreateCmd和execStartCmd来在容器内执行echo hello命令,并打印出输出。

// 创建一个执行命令
ExecCreateCmdResponse execCreateCmdResponse = dockerClient.execCreateCmd(containerId)
  .withAttachStdout(true)
  .withAttachStderr(true)
  .withCmd("echo", "hello")
  .exec();

// 启动一个执行命令
dockerClient.execStartCmd(execCreateCmdResponse.getId())
  .exec(new ExecStartResultCallback(System.out, System.err))
  .awaitCompletion();
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

这里的withAttachStdout(true)withAttachStderr(true)是用于设置是否附加容器的标准输出和标准错误到执行命令的对象上如果不设置为true,那么你将无法从ResultCallback对象中获取容器的输出和错误信息。这可能会导致你无法判断容器内的命令是否执行成功或者失败,以及无法查看命令的结果或者错误原因。

因此,一般来说,如果你想要在java程序中处理容器的输出和错误,你需要设置withAttachStdout(true)withAttachStderr(true)为true。如果你不关心容器的输出和错误,你可以设置为false或者不设置。

我们也可以通过下面的方法获得正常结果或者异常结果:

在这里插入图片描述

获取容器的状态信息

例如获取一段时间内存的最大值:

            // 获取占用的内存
            StatsCmd statsCmd = dockerClient.statsCmd(containerId);
            ResultCallback<Statistics> statisticsResultCallback = statsCmd.exec(new ResultCallback<Statistics>() {

                @Override
                public void onNext(Statistics statistics) {
                    System.out.println("内存占用:" + statistics.getMemoryStats().getUsage());
                    maxMemory[0] = Math.max(statistics.getMemoryStats().getUsage(), maxMemory[0]);
                }

                @Override
                public void close() throws IOException {

                }

                @Override
                public void onStart(Closeable closeable) {

                }

                @Override
                public void onError(Throwable throwable) {

                }

                @Override
                public void onComplete() {

                }
            });
            statsCmd.exec(statisticsResultCallback);
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

注意:

  • 在执行命令完之后这个统计会一直执行,所以要记得使用statsCmd.close()关掉
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/834593
推荐阅读
相关标签
  

闽ICP备14008679号