赞
踩
虽然Docker官方提供了公共的镜像仓库,但是从安全和效率等方面考虑,部署我们私有环境内的Registry也是非常必要的。
Harbor是由VMware公司开源的企业级的Docker Registry管理项目,相比docker官方拥有更丰富的权限权利和完善的架构设计,适用大规模docker集群部署提供仓库服务。
它主要提供 Dcoker Registry 管理界面UI,可基于角色访问控制,镜像复制, AD/LDAP 集成,日志审核等功能,完全的支持中文。
基于角色的访问控制
用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。
基于镜像的复制策略
镜像可以在多个Registry实例中复制(可以将仓库中的镜像同步到远程的Harbor,类似于MySQL主从同步功能),尤其适合于负载均衡,高可用,混合云和多云的场景。
图形化用户界面
用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。
支持 AD/LDAP
Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。
镜像删除和垃圾回收
Harbor支持在Web删除镜像,回收无用的镜像,释放磁盘空间。image可以被删除并且回收image占用的空间。
审计管理
所有针对镜像仓库的操作都可以被记录追溯,用于审计管理。
RESTful API
RESTful API提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
部署简单
提供在线和离线两种安装工具, 也可以安装到vSphere平台(OVA方式)虚拟设备。
架构组件图:
如上图所描述,Harbor由6个大的模块所组成:
1、Proxy: Harbor的registry、UI、token services等组件,都处在一个反向代理后边。该代理将来自浏览器、docker clients的请求转发到后端服务上。
2、Registry: 负责存储Docker镜像,以及处理Docker push/pull请求。因为Harbor强制要求对镜像的访问做权限控制, 在每一次push/pull请求时,Registry会强制要求客户端从token service那里获得一个有效的token。
3、Core services: Harbor的核心功能,主要包括如下3个服务:
4、Database:为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。
5、Job services: 主要用于镜像复制,本地镜像可以被同步到远程Harbor实例上。
6、Log collector: 负责收集其他组件的日志到一个地方
Harbor在物理机上部署是非常难的,而为了简化Harbor的应用,Harbor官方直接把Harbor做成了在容器中运行的应用,而且这个容器在Harbor中依赖类似redis、mysql、pgsql等很多存储系统,所以它需要编排很多容器协同起来工作,因此VMWare Harbor在部署和使用时,需要借助于Docker的单机编排工具(
Docker compose
)来实现。
Docker Compose官方文档
CHAPTER 12 Compose(一)
Docker-Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。
Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose,您可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。
docker-compose up //启动所有服务,默认读取名为docker-compose.yml文件
docker-compose up -d //在后台启动所有服务
docker-compose build //在运行项目前先构建项目所需镜像
docker-compose ps //列出本地docker-compose.yml文件里定义的正在运行的所有服务
docker-compose stop //停止所有服务,如果服务没有停止,可以使用docker-compose kill强制杀死服务
docker-compose start //开启所有服务
docker-compose rm //删除所有服务
使用Harbor的注意事项:
本次使用二进制部署docker compose
下载地址:docker compose
[root@node-253 opt]# docker -v
Docker version 19.03.9, build 9d988398e7
[root@node-253 opt]# mv docker-compose-linux-x86_64 docker-compose
[root@node-253 opt]# cp docker-compose /usr/local/bin/
cp: overwrite ‘/usr/local/bin/docker-compose’? y
[root@node-253 opt]# chmod a+x /usr/local/bin/docker-compose
[root@node-253 opt]# docker-compose -v
Docker Compose version v2.17.2
//下载harbor压缩包
[root@harbor_node01 ~]# wget https://github.com/goharbor/harbor/releases/download/v2.4.3/harbor-offline-installer-v2.4.3.tgz
//把harbor解压至/usr/local目录下
[root@harbor_node01 ~]# tar xf harbor-offline-installer-v2.4.3.tgz -C /usr/local/
//进入harbor目录
[root@harbor_node01 ~]# cd /usr/local/harbor/
[root@harbor_node01 harbor]# ls
common.sh harbor.v2.4.3.tar.gz harbor.yml.tmpl install.sh LICENSE prepare
//把配置文件模板拷贝一份出来
root@harbor_node01 harbor]# cp harbor.yml.tmpl harbor.yml
//查看当前主机的主机名全称
[root@harbor_node01 harbor]# hostname
harbor_node01.example.com
[root@harbor_node01 harbor]# vim harbor.yml
..........
hostname: harbor_node01.example.com //这里的主机名换成本机的主机名或IP地址
.........
#https: //把https这行及子行都注释掉,因为没有弄ssl证书加密
# https port for harbor, default is 443
#port: 443
# The path of cert and key files for nginx
#certificate: /your/certificate/path
#private_key: /your/private/key/path
.........
//启动harbor
[root@harbor_node01 harbor]# ./install.sh
..........启动过程略.............
✔ ----Harbor has been installed and started successfully.---- //显示此行说明启动成功!
//查看harbor运行起来的容器
[root@harbor_node01 harbor]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1602065b6558 goharbor/nginx-photon:v2.4.3 "nginx -g 'daemon of…" About a minute ago Up 51 seconds (healthy) 0.0.0.0:80->8080/tcp, :::80->8080/tcp nginx
807abe81e1e8 goharbor/harbor-jobservice:v2.4.3 "/harbor/entrypoint.…" About a minute ago Up 52 seconds (healthy) harbor-jobservice
525886fff9b0 goharbor/harbor-core:v2.4.3 "/harbor/entrypoint.…" About a minute ago Up 53 seconds (healthy) harbor-core
9d40e1cf4131 goharbor/harbor-db:v2.4.3 "/docker-entrypoint.…" About a minute ago Up 54 seconds (healthy) harbor-db
e7405e5ba6b1 goharbor/registry-photon:v2.4.3 "/home/harbor/entryp…" About a minute ago Up 54 seconds (healthy) registry
a86ae3d1848e goharbor/redis-photon:v2.4.3 "redis-server /etc/r…" About a minute ago Up 54 seconds (healthy) redis
814e2bfc178e goharbor/harbor-registryctl:v2.4.3 "/home/harbor/start.…" About a minute ago Up 54 seconds (healthy) registryctl
340de1da037f goharbor/harbor-portal:v2.4.3 "nginx -g 'daemon of…" About a minute ago Up 54 seconds (healthy) harbor-portal
c3eceadcb92b goharbor/harbor-log:v2.4.3 "/bin/sh -c /usr/loc…" About a minute ago Up 59 seconds (healthy) 127.0.0.1:1514->10514/tcp harbor-log
//查看启用的端口
[root@harbor_node01 harbor]# ss -anlt
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 127.0.0.1:1514 0.0.0.0:*
LISTEN 0 128 0.0.0.0:80 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 [::]:80 [::]:*
LISTEN 0 128 [::]:22 [::]:*
浏览器访问:用户名与密码可在harbor.yml
配置文件中找到,修改密码的话也在这里面改
admin/Harbor123456
[root@harbor_node01 ~]# vim /etc/rc.local
#!/bin/bash
cd /usr/local/harbor //添加这行与下面一行
docker-compose start
[root@harbor_node01 ~]# ll /etc/rc.local
lrwxrwxrwx. 1 root root 13 Oct 5 2021 /etc/rc.local -> rc.d/rc.local
[root@harbor_node01 ~]# ll /etc/rc.d/rc.local
-rw-r--r--. 1 root root 516 Aug 11 21:17 /etc/rc.d/rc.local //默认该文件无执行权限,需添加执行权限
//添加执行权限,否则该文件无法生效
[root@harbor_node01 ~]# chmod +x /etc/rc.d/rc.local
//重启主机验证配置的开机自启harbor的效果
[root@harbor_node01 ~]# reboot
//重启之后的效果,可以看到harbor开启成功
[root@harbor_node01 ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1602065b6558 goharbor/nginx-photon:v2.4.3 "nginx -g 'daemon of…" 2 hours ago Up 2 minutes (healthy) 0.0.0.0:80->8080/tcp, :::80->8080/tcp nginx
807abe81e1e8 goharbor/harbor-jobservice:v2.4.3 "/harbor/entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-jobservice
525886fff9b0 goharbor/harbor-core:v2.4.3 "/harbor/entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-core
9d40e1cf4131 goharbor/harbor-db:v2.4.3 "/docker-entrypoint.…" 2 hours ago Up 2 minutes (healthy) harbor-db
e7405e5ba6b1 goharbor/registry-photon:v2.4.3 "/home/harbor/entryp…" 2 hours ago Up 2 minutes (healthy) registry
a86ae3d1848e goharbor/redis-photon:v2.4.3 "redis-server /etc/r…" 2 hours ago Up 2 minutes (healthy) redis
814e2bfc178e goharbor/harbor-registryctl:v2.4.3 "/home/harbor/start.…" 2 hours ago Up 2 minutes (healthy) registryctl
340de1da037f goharbor/harbor-portal:v2.4.3 "nginx -g 'daemon of…" 2 hours ago Up 2 minutes (healthy) harbor-portal
c3eceadcb92b goharbor/harbor-log:v2.4.3 "/bin/sh -c /usr/loc…" 2 hours ago Up 2 minutes (healthy) 127.0.0.1:1514->10514/tcp harbor-log
ip=10.48.14.50
curl -L "https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version
mkdir /usr/local/harbor && cd /usr/local/harbor
wget --continue https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-online-installer-v1.8.1.tgz
tar -zxf harbor-online-installer-v1.8.1.tgz
cd harbor
sed -i 's/hostname: reg.mydomain.com/hostname: '$ip'/g' harbor.yml
./prepare
./install.sh
docker-compose ps
#配置免https验证
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": ["https://uvbz951q.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"insecure-registries": ["10.48.14.50:8888"]
}
EOF
systemctl daemon-reload
systemctl restart docker
docker-compose stop
docker-compose up -d
报错:pgsql.conf permission denied,failed to connect to tcp://postgresql:5432
#harbor报错时访问下面路径,根据日志信息分析排错。
[root@node4 database]# cd /var/log/harbor/
[root@node4 harbor]# ls
core.log jobservice.log portal.log postgresql.log proxy.log redis.log registryctl.log registry.log
解决
[root@node4 ~]# cd /data/database/
[root@node4 database]# ls
pg13
chown -R polkitd:input pg13
chmod -R 700 pg13
#如果还不行则重启harbor所有服务
cd /harbor-haproxy-sslFile
docker-compose down
./prepare
docker-compose up -d
启用另一台docker主机作为客户端来访问harbor
//将harbor服务端的主机域名进行映射
[root@localhost ~]# vim /etc/hosts
192.168.71.253 node-253 //添加harbor服务端的IP地址与主机名
//测试是否能与harbor端ping通
[root@localhost ~]# ping -c 2 node-253
PING harbor_node01.example.com (192.168.92.130) 56(84) bytes of data.
64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=1 ttl=64 time=0.322 ms
64 bytes from harbor_node01.example.com (192.168.92.130): icmp_seq=2 ttl=64 time=0.696 ms
--- harbor_node01.example.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1028ms
rtt min/avg/max/mdev = 0.322/0.509/0.696/0.187 ms
//使用insecure-registries参数添加http支持
[root@node-252 ~]# cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://3s9106.mirror.alncs.com"],
"insecure-registries": ["192.168.71.253"]
}
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker
//登录到harbor
[root@localhost ~]# docker login 192.168.71.253
Username: admin //输入harbor的用户名
Password: //输入harbor的密码
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
//修改镜像名与标签,把该镜像上传至harbor的library项目里
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
busybox latest beae173ccac6 7 months ago 1.24MB
[root@localhost ~]# docker tag busybox:latest 192.168.92.130/library/busybox:v0.1
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
busybox latest beae173ccac6 7 months ago 1.24MB
192.168.92.130/library/busybox v0.1 beae173ccac6 7 months ago 1.24MB
[root@localhost ~]# docker push 192.168.92.130/library/busybox:v0.1
The push refers to repository [192.168.92.130/library/busybox]
01fd6df81c8e: Pushed
v0.1: digest: sha256:62ffc2ed7554e4c6d360bce40bbcf196573dd27c4ce080641a2c59867e732dee size: 527
在harbor的web管理页面,进入library项目,查看是否上传成功。在这里我们可以创建项目,以及对项目里面的镜像进行管理
点击【推送命令】,即可看到官方推送镜像的各种容器服务的命令语法
点击【用户管理】,随后可以【创建用户】以及对用户进行授权或重置密码或删除用户的操作
用户添加完成后,将其加入项目
填写用户名与赋予权限(角色),权限设置为开发人员。
如下图所示,可以看到该用户已加入到此项目。admin是管理员权限,yurq是开发者。
目前我是admin用户,对此项目拥有管理员权限,可以删除此项目,也可以在项目中加入或移除用户。
点击左侧的【仓库管理】,随后可以【新建目标】来远程管理其它的仓库服务,可选的仓库服务类型有以下之多
接着演示添加一个仓库服务。选择仓库类型为【DOcker Hub】,指定仓库名为【Docker Hub】,由于是docker的官方仓库,所以URL不用手动填,访问id与访问密码就填自己在Docke Hub注册的用户名与密码即可。由于这是官方仓库所以可以勾选上【验证远程证书】,如果远程实例使用的是’自签’的或’非信任证书’那么请取消勾选此选项。
在K8s较新的版本,更换了容器引擎containerd,下面我们来配置containerd对接harbor
harbor建议还是配置https,没有配置的https的情况,目前来看不太容易对接
[root@node-134 harbor]# openssl genrsa -out ca.key 4096
[root@node-134 harbor]# openssl req -x509 -new -nodes -sha512 -days 3650 -subj "/CN=harbor.yh.com" -key ca.key -out ca.crt
[root@node-134 harbor]# openssl genrsa -out server.key 4096
[root@node-134 harbor]# openssl req -new -sha512 -subj "/CN=harbor.yh.com" -key server.key -out server.csr
[root@node-134 harbor]# cat certs/v3.ext
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment,dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=harbor.yh.com
[root@node-134 harbor]# pwd
/usr/local/harbor
[root@node-134 harbor]# openssl x509 -req -sha512 -days 3650 -extfile v3.ext -CA ca.crt -CAkey ca.key -CAcreateserial -in server.csr -out server.crt
Signature ok
subject=/CN=harbor.yh.com
Getting CA Private Key
[root@node-134 harbor]# ll certs/
total 28
-rw-r--r-- 1 root root 1797 Jul 25 23:54 ca.crt
-rw-r--r-- 1 root root 3243 Jul 25 23:54 ca.key
-rw-r--r-- 1 root root 17 Jul 25 23:55 ca.srl
-rw-r--r-- 1 root root 1834 Jul 25 23:55 server.crt
-rw-r--r-- 1 root root 1590 Jul 25 23:54 server.csr
-rw-r--r-- 1 root root 3243 Jul 25 23:54 server.key
-rw-r--r-- 1 root root 237 Jul 25 23:16 v3.ext
$vim harbor.yml
hostname: harbor.yh.com
# http related config
http:
# port for http, default is 80. If https enabled, this port will redirect to https port
port: 8080
# https related config
https:
# https port for harbor, default is 443
port: 443
# The path of cert and key files for nginx
certificate: /data/server/harbor/certs/server.crt
private_key: /data/server/harbor/certs/server.key
./prepare
docker-compose down
docker-compose up -d
ss -lntup|egrep '80|443'
tcp LISTEN 0 128 [::]:80 [::]:* users:(("docker-proxy",pid=130988,fd=4))
tcp LISTEN 0 128 [::]:443 [::]:* users:(("docker-proxy",pid=130962,fd=4))
harbor.yml
[root@node-134 harbor]# egrep -v "^ *#|^$" harbor.yml
hostname: harbor.yh.com
http:
port: 80
https:
port: 443
certificate: /usr/local/harbor/certs/server.crt
private_key: /usr/local/harbor/certs/server.key
harbor_admin_password: Harbor12345
database:
password: root123
max_idle_conns: 100
max_open_conns: 900
data_volume: /data
trivy:
ignore_unfixed: false
skip_update: false
offline_scan: false
insecure: false
jobservice:
max_job_workers: 10
notification:
webhook_job_max_retry: 10
chart:
absolute_url: disabled
log:
level: info
local:
rotate_count: 50
rotate_size: 200M
location: /var/log/harbor
_version: 2.4.0
proxy:
http_proxy:
https_proxy:
no_proxy:
components:
- core
- jobservice
- trivy
#查看证书是否过期
[root@node-128 home]# openssl x509 -in /etc/ssl/certs/server.crt -noout -dates
notBefore=Jul 26 05:55:47 2023 GMT
notAfter=Jul 23 05:55:47 2033 GMT
[21:29:54 root@c7-3~]#containerd --version
containerd containerd.io 1.6.8 9cd3357b7fd7218e4aec3eae239db1f68a5a6ec6
wget https://github.com/containerd/nerdctl/releases/download/v0.22.2/nerdctl-0.22.2-linux-amd64.tar.gz
tar -zxvf nerdctl-0.22.2-linux-amd64.tar.gz
mv nerdctl /usr/local/bin
wget https://github.com/containernetworking/plugins/releases/download/v1.1.1/cni-plugins-linux-amd64-v1.1.1.tgz
mkdir -p /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v1.1.1.tgz -C /opt/cni/bin/
此处的server.crt拷贝自证书制作机器
scp node-134:/usr/local/harbor/certs/server.crt .
yum install -y ca-certificates
cp -a server.crt /etc/pki/ca-trust/source/anchors/
ln -s /etc/pki/ca-trust/source/anchors/server.crt /etc/ssl/certs/
update-ca-trust
[root@node-128 home]# nerdctl login -u admin harbor.yh.com
Enter Password:
WARNING: Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。