- 1【Kafka】Kafka如何开启SSL 控制台消费与生产 代码消费与生产_九师兄ssl
- 2webrtc-streamer下载编译
- 3使用powershell 与基线services列表比较，查看服务状态是否发生变化
- 4Springboot整合shardingsphere框架实现mysql分表（解决数据表存储压力）_spring sharding
- 5算法刷题记录(Day 52)
- 6TortoiseGit代码冲突解决（图文）_tortoisegit修改过代码无法拉去库里的代码
- 7【物联网设备端开发】Arduino快速上手esp8266方案开发_arduino esp8266 csdn
- 8clickhouse MPPDB数据库--新特性使用示例
- 9使用springboot简单集成redis以及自定义RedisTemplate解决乱码问题_springboot redistemplate 自定义封装
- 10Windows10专业版安全中心页面提示不可用 Windows defender 页面不可用 完美解决办法 在这里_windows安全中心 页面不可用
微服务管理（完整）
赞
踩
前言：
分享一篇学微服务管理的过程
一，etcd入门
1，简介
1.1，etcd是什么
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。
官网上的一段描述：
A distributed, reliable key-value store for the most critical data of a distributed system
etc是一个分布式，键值对存储系统，用于分布式的关键数据的存储。
1.2，特点
1，简单的接口，通过标准的HTTP API进行调用，也可以使用官方提供的 etcdctl 操作存储的数据
2，键值对存储。
3，有监听机制，可以监听特定键的变化，并作出响应
1.3，使用场景
- 服务发现（Service Discovery）
- 消息发布与订阅
- 负载均衡
- 分布式通知与协调
- 分布式锁
1.4，关键字
Raft：etcd所采用的保证分布式系统强一致性的算法。
Node：一个Raft状态机实例。
Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。
Cluster：由多个Member构成可以协同工作的etcd集群。
Peer：对同一个etcd集群中另外一个Member的称呼。
Client： 向etcd集群发送HTTP请求的客户端。
WAL：预写式日志，etcd用于持久化存储的日志格式。
snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。
Proxy：etcd的一种模式，为etcd集群提供反向代理服务。
Leader(领导者)：Raft算法中通过竞选而产生的处理所有数据提交的节点。
Follower(跟随者)：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。
Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始Leader竞选。
Term：某个节点成为Leader到下一次竞选开始的时间周期，称为一个Term。
Index：数据项编号。Raft中通过Term和Index来定位数据。
1.5，工作原理
第1部分是HTTP Server： 用于处理用户发送的API请求，以及其它etcd节点的同步与心跳信息请求
第2部分是Store：用于处理etcd支持的各类功能的事务，包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等，是etcd对用户提供的大多数API功能的具体实现
第3部分是Raft：Raft强一致性算法的具体实现，是etcd的核心
第4部分是WAL：Write Ahead Log（预写式日志），是etcd的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外，etcd就通过WAL进行持久化存储。
在WAL中，所有的数据提交前都会事先记录日志。Snapshot是为了防止数据过多而进行的状态快照；Entry表示存储的具体日志内容
1.6，获取
- etcd项目地址：https://github.com/coreos/etcd/
- etcd下载地址：https://github.com/etcd-io/etcd/releases 根据需要查找对应版本下载即可
2. 安装
2.1 etcd安装前介绍
- etcd在生产环境中一般推荐集群方式部署
- etcd使用的2个默认端口号：2379和2380
2379：用于客户端通信(类似于sqlserver的1433/oracle的1521/mysql的3306)
2380：用于与集群中的Peer通信 - 因为etcd是go语言编写的，安装只需要下载对应的二进制文件，并放到合适的路径就行。
2.2 安装
1） 创建并切换到下载目录
mkdir /usr/local/mytools && cd /usr/local/mytools
- 下载，
wget https://github.com/etcd-io/etcd/releases/download/v3.4.3/etcd-v3.4.3-linux-amd64.tar.gz
下载比较慢，课件中提供。
- 解压文件到当前目录
tar xzvf etcd-v3.4.3-linux-amd64.tar.gz
- 切换至etcd根目录，运行查看命令ls，里面会有一些文档和2个二进制文件etcd和etcdctl。etcd是server端，etcdctl是客户端
cd etcd-v3.4.3-linux-amd64 && ls
- 将etcd和etcdctl二进制文件复制到/usr/local/bin目录, 这样系统中可以直接调用etcd/etcdctl这两个程序
cp etcd etcdctl /usr/local/bin
- 查看etcd版本
etcd --version
- 设置etcdctl版本(v2/v3)
注意：etct3.4.3默认使用v3命令所以步骤7可省略，之前版本此步骤不可少，例如：v3.3.10
- vi /etc/profile
-
- # 最后一行指定etcdctl命令的版本为v3
- export ETCDCTL_API=3
-
- # 刷新环境变量
- source /etc/profile
- #查看当前etcdctl的版本信息
- #v2版本命令和v3命令是不一样的，例如：
- #v2查看版本号
- etcdctl -version或 etcdctl -v
- #v3查看版本号
- etcdctl version
- # 更多命令帮助可以查询
- etcdctl --help
环境变量配置示意图：
2.3 启动
输入命令etcd，即可启动一个单节点的etcd服务,ctrl+c即可停止服务
etcd
1.name表示节点名称，默认为default。 2.data-dir 保存日志和快照的目录，默认为当前工作目录default.etcd/目录下。 3.在http://localhost:2380和集群中其他节点通信。 4.在http://localhost:2379提供客户端交互。 5.heartbeat为100ms，该参数的作用是leader多久发送一次心跳到followers，默认值是100ms。 6.election为1000ms，该参数的作用是重新投票的超时时间，如果follow在该时间间隔没有收到心跳包，会触发重新投票，默认为1000ms。 7.snapshot count为10000，该参数的作用是指定有多少事务被提交时，触发截取快照保存到磁盘。 8.集群和每个节点都会生成一个uuid。 9.启动的时候会运行raft，选举出leader
2.4 创建一个etcd服务
- 建立etcd相关目录(即数据文件和配置文件的保存位置)
/etc目录是整个Linux系统的中心，其中包含所有系统管理和维护方面的配置文件，所以etcd的配置也放在这里
mkdir -p /var/lib/etcd/ && mkdir -p /etc/etcd/
- 创建etcd配置文件，详见课件中的"etcd-单机版.conf"
vim /etc/etcd/etcd.conf
- 创建systemd配置文件, 详见：课件中的"etcd-单机版.service"
vim /etc/systemd/system/etcd.service
4） 启动/停止/查看etcd服务
- ## 1.重新加载systemd服务
- systemctl daemon-reload
-
- ## 2.设置开机自启动
- systemctl enable etcd
-
- ## 3.启动etcd
- systemctl start etcd
-
- ## 4.查看etcd运行状态
- systemctl status etcd
-
- ## 5.停止服务
- systemctl stop etcd
-
- ## 6.重启etcd
- systemctl restart etcd
3. 常用操作
1） 如何获取帮助
etcdctl -h
- put
etcdctl put /testdir/testkey "Hello world"
支持的选项包括
--ttl '0' 该键值的超时时间(单位为秒)，不配置(默认为0)则永不超时
--swap-with-value value 若该键现在的值是value，则进行设置操作
--swap-with-index '0' 若该键现在的索引值是指定索引，则进行设置操作
- get
etcdctl get /testdir/testkey
--sort 对结果进行排序
--consistent 将请求发给主节点，保证获取内容的一致性。
- del
- # 清空数据
- etcdctl del / --prefix
-
- #删除所有/test前缀的节点
- etcdctl del /test --prefix
5）watch
- #1. 增加一个key，（客户端窗口1）
- etcdctl put key1 "hello"
-
- #2. 打开一个新的客户端窗口2，监听key1的变化
- etcdctl watch key1
-
- #3. 回到窗口1，向key1 中put新值
- etcdctl put key1 "hello work"
-
- # 4. 此时可以在窗口2中看到监听输出
-
-
- # 查看版本信息
- curl http://127.0.0.1:2379/version
二，etcd集群
1. ETCD集群方式
1） 静态发现
预先已知 Etcd 集群中有哪些节点，在启动时直接指定好 Etcd 的各个 node 节点地址
2） Etcd 动态发现
通过已有的 Etcd 集群作为数据交互点，然后在扩展新的集群时实现通过已有集群进行服务发现的机制
3）DNS 动态发现
通过 DNS 查询方式获取其他节点地址信息
2. 环境准备
在虚拟机中创建三台centos系统，分别命名为etcd-node-1，etcd-node-2, etcd-node-3
在本示例中，三台机器的ip地址分别为：
| 机器 | ip |
|---|---|
| etcd-node-1 | 192.168.229.132 |
| etcd-node-2 | 192.168.229.133 |
| etcd-node-3 | 192.168.229.134 |
注意：
1）为了方便选举，机器一般是奇数个。偶数个容易出现等额选票，进入下一轮选举，效率比较低。
2）在虚拟机中进行测试时，需要注意将ip地址的租约设置长一些，最长为63天。尽量避免ip地址改变，否则集群配置文件要重新配置。
3. 安装etcd
在上面准备的三台虚拟机中安装etcd。
1） 上传etcd-v3.4.3-linux-amd64.tar.gz，在课件中已经提供
- 创建目录
mkdir -p /usr/local/mytools
- 解压到指定目录
tar -xzvf etcd-v3.4.3-linux-amd64.tar.gz -C /usr/local/mytools && cd /usr/local/mytools/etcd-v3.4.3-linux-amd64
- 将安装目录下的etcdctl拷贝到/usr/local/bin下
- [root@localhost mytools]# ls
- etcd-v3.4.3-linux-amd64
- [root@localhost mytools]# cd etcd-v3.4.3-linux-amd64/
- [root@localhost etcd-v3.4.3-linux-amd64]# ls
- Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
- [root@localhost etcd-v3.4.3-linux-amd64]# cp etcd etcdctl /usr/local/bin
5）查看版本，确认安装成功
- [root@localhost etcd-v3.4.3-linux-amd64]# etcd -version
- etcd Version: 3.4.3
- Git SHA: 3cf2f69b5
- Go Version: go1.12.12
- Go OS/Arch: linux/amd64
- 创建etcd相关目录即数据文件(即数据文件和配置文件的保存目录)
mkdir -p /var/lib/etcd/ && mkdir -p /etc/etcd/
- 编辑节点node-0配置文件
vim /etc/etcd/etcd.conf
说明：修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据，再重新启用服务!!!，命令如下：
cd /var/lib/etcd && rm -rf *
注2：ETCD3.4版本中ETCDCTL_API=3和etcd --enable-v2=false成为了默认配置
flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API，为了兼容flannel，将默认开启v2版本，故配置文件中还要设置：ETCD_ENABLE_V2="true"
配置文件内容如下（课件中也提供了"etcd-集群版-v1.0.0.conf"）：
- #########################################################
- ###### 请根据各节点实际情况修改配置：1/3/4/5/6/7 ######
- #########################################################
- #[Member]
- #1.节点名称，必须唯一
- ETCD_NAME="etcd01"
-
- #2.设置数据保存的目录
- ETCD_DATA_DIR="/var/lib/etcd"
-
- #3.用于监听其他etcd member的url
- ETCD_LISTEN_PEER_URLS="http://192.168.183.161:2380"
-
- #4.该节点对外提供服务的地址
- ETCD_LISTEN_CLIENT_URLS="http://192.168.183.161:2379,http://127.0.0.1:2379"
-
- #[Clustering]
- #5.对外公告的该节点客户端监听地址
- ETCD_ADVERTISE_CLIENT_URLS="http://192.168.183.161:2379"
-
- #6.该节点成员对等URL地址，且会通告群集的其余成员节点
- ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.183.161:2380"
-
- #7.集群中所有节点的信息
- ETCD_INITIAL_CLUSTER="etcd01=http://192.168.183.161:2380,etcd02=http://192.168.183.162:2380,etcd03=http://192.168.183.163:2380"
-
- #8.创建集群的token，这个值每个集群保持唯一
- ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
-
- #9.初始集群状态，新建集群的时候，这个值为new；
- ETCD_INITIAL_CLUSTER_STATE="new"
-
- #10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
- # 为了兼容flannel，将默认开启v2版本，故配置文件中设置
- ETCD_ENABLE_V2="true"
- 将节点配置为一个etcd服务
vim /etc/systemd/system/etcd.service
配置文件内容(课件资料中"etcd-集群版-v1.0.0.service"也有示例)：
- [Unit]
- Description=Etcd Server
- Documentation=https://github.com/etcd-io/etcd
- After=network.target
-
- [Service]
- User=root
- Type=notify
- ## 根据实际情况修改EnvironmentFile和ExecStart这两个参数值
- ## 1.EnvironmentFile即配置文件的位置，注意“-”不能少
- EnvironmentFile=-/etc/etcd/etcd.conf
- ## 2.ExecStart即etcd启动程序位置
- ExecStart=/usr/local/bin/etcd
- Restart=always
- RestartSec=10s
- LimitNOFILE=65536
-
- [Install]
- WantedBy=multi-user.target
9）centos，设置防火墙
- firewall-cmd --zone=public --add-port=2379/tcp --permanent
- firewall-cmd --zone=public --add-port=2380/tcp --permanent
-
- #重启防火墙：
- firewall-cmd --reload
-
- #查询有哪些端口是开启的:
- firewall-cmd --list-port
- 启动，与重启
- # 重新加载服务
- systemctl daemon-reload
-
- #设置开机启动
- systemctl enable etcd
-
- #启动etcd
- systemctl start etcd
-
- # 查看状态
- systemctl status etcd
-
- # 停止etcd服务
- systemctl stop etcd
-
- # 重启etcd服务
- systemctl restart etcd
如果启动失败，可以使用如下命令检查原因：
- ## 显示概要
- systemctl status etcd.service
-
- ## 查看启动详情
- journalctl -xe
-
- ## 显示实时日志
- journalctl -f
-
- ## 查看本机监听端口
- netstat -tunlp|grep etcd
-
- journalctl -xe -u etcd //查看日志细节
- netstat -nal //查看接口
分析命令主要包括：
systemctl list-unit-files 列出所有可用的Unit
systemctl list-units 列出所有正在运行的Unit
systemctl --failed 列出所有失败单元
systemctl mask httpd.service 禁用服务
systemctl unmask httpd.service
systemctl kill httpd 杀死服务cat /var/log/messages | grep nginx
systemctl查看完整非截断日志显示详细信息详细日志用
systemctl status etcd.service -l
systemctl status etcd -l
接下来部署第二台，第三台服务器， 步骤与第一台一样，但要注意服务名称不能冲突，及ip地址的配置。
将三个机器部署完成后，依次启动。可以通过“journalctl -f”日志：如：
- 可以按照上面的配置将etcd设置为开机启动（systemctl enable etcd），在这里为方便演示暂时没有配置。
4. 测试集群
- # 查看集群信息
- etcdctl member list
-
- # 以列表的方式查看集群信息
- etcdctl member list -w table
-
- # 集群状态
- etcdctl endpoint health
- etcdctl endpoint status
http命令
- [root@localhost ~]# etcdctl --endpoints=http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379 endpoint health
- http://192.168.229.134:2379 is healthy: successfully committed proposal: took = 33.371525ms
- http://192.168.229.132:2379 is healthy: successfully committed proposal: took = 54.681694ms
- http://192.168.229.133:2379 is healthy: successfully committed proposal: took = 55.89755ms
- [root@localhost ~]#
- [root@localhost ~]# etcdctl --endpoints=http://192.168.229.133:2379 member list -w table
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- | ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS | IS LEARNER |
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- | 281f82fb01c86d63 | started | etcd01 | http://192.168.229.132:2380 | http://192.168.229.132:2379 | false |
- | 4a5c02e83634b7b4 | started | etcd03 | http://192.168.229.134:2380 | http://192.168.229.134:2379 | false |
- | 94e7f6917bafdf5a | started | etcd02 | http://192.168.229.133:2380 | http://192.168.229.133:2379 | false |
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- [root@localhost ~]#
向etcd中存放数据，及获取数据
- [root@localhost ~]# etcdctl --endpoints=http://192.168.229.133:2379 put /user 'zs'
- OK
- [root@localhost ~]# etcdctl --endpoints=http://192.168.229.134:2379 get /user
- /user
- zs
- [root@localhost ~]# etcdctl get /user
- /user
- zs
- [root@localhost ~]#
- 向192.168.229.133机器put值，通过92.168.229.134，及本机也可以正常获取值，说明集群成功。
三，docker跨主机访问
1. Docker跨主机通讯的常用方式
Pipework、Flannel、Weave、Open vSwitch（虚拟交换机）、Calico, 其中 Pipework、Weave、Flannel是使用的最多。
2. Flannel简介
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，覆盖网络（Overlay Network）工具，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
在默认的情况下，在同一宿主机中的各个Docker容器可以相互通信，但处于不同宿主机的docker容器之间是不能通讯的（相当于处在不同的网段，不能直接通讯），可以使用Flannel来解决这个问题，使得不同宿主机中的Docker容器可以互通。
- 数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。
- Flannel通过Etcd服务维护了一张节点间的路由表，该张表里保存了各个节点主机的子网网段信息。
- 源主机的flanneld服务将原本的数据内容UDP封装后（也可以通过其他方式封装）根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一样的由docker0路由到达目标容器。
Flannel支持多种Backend协议，但是不支持运行时修改Backend。官方推荐使用以下Backend：
- VXLAN，性能损耗大概在20~30%；
- host-gw, 性能损耗大概10%，要求Host之间二层直连，因此只适用于小集群
- UDP, 建议只用于debug，因为性能低，如果网卡支持 enable udp offload，直接由网卡进行拆包解包，可以显著提升性能
- ali-vpc：使用阿里云VPC route table 创建路由，适用于阿里云上运行的容器
Flannel使用etcd存储配置数据和子网分配信息。flannel 启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。etcd也存储这个每个主机对应的ip。flannel使用etcd的watch机制监视 /coreos.com/network/subnets 下面所有元素的变化信息，并且根据它来维护一个路由表。
etcd可以理解成springcloud中的注册中心，用于服务注册和发现，这里是节点(即宿主机)注册和发现。
注意：
etcd的v2版本何v3版本并不兼容，Flannel使用的是v2版本，请特别注意版本问题！！！
如： v2
ETCDCTL_API=2 etcdctl set key value
ETCDCTL_API=2 etcdctl ls /
ETCDCTL_API=2 etcdctl del / --prefix
v3:
ETCDCTL_API=3 etcdctl put key value
ETCDCTL_API=3 etcdctl get /
ETCDCTL_API=3 etcdctl del / --prefix
如果使用v2向etcd中保存数据，则需要用v2来获取，否则获取不到。
配置示例
1） 启动etcd集群
依次启动etcd集群中的每个节点
[root@localhost ~]# systemctl start etcd
2） 检测etcd集群是否正常
- [root@localhost ~]# etcdctl member list -w table
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- | ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS | IS LEARNER |
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- | 281f82fb01c86d63 | started | etcd01 | http://192.168.229.132:2380 | http://192.168.229.132:2379 | false |
- | 4a5c02e83634b7b4 | started | etcd03 | http://192.168.229.134:2380 | http://192.168.229.134:2379 | false |
- | 94e7f6917bafdf5a | started | etcd02 | http://192.168.229.133:2380 | http://192.168.229.133:2379 | false |
- +------------------+---------+--------+-----------------------------+-----------------------------+------------+
- [root@localhost ~]#
注： 该命令在etcd集群中的任何节点都应该正常获取etcd集群节点的数据
3）环境说明：
组要安装：etcd、flannel、docker， 如果没有安装docker请自行参考docker第一次课的课件进行安装。
4）安装flannel
- 下载flannel，为了方面课件已经准备了flannel-v0.11.0-linux-amd64.tar.gz，上传到linux即可
- 创建安装目录，并将flannel压缩文件解压到安装目录
- [root@localhost ~]# mkdir -p /opt/flannel
- [root@localhost ~]# tar xzf flannel-v0.11.0-linux-amd64.tar.gz -C /opt/flannel
-
- [root@localhost ~]# cd /opt/flannel
- [root@localhost flannel]# ls
- flanneld mk-docker-opts.sh README.md
flanneld为主要的执行文件，sh脚本用于生成Docker启动参数
- 为flannel创建一个systemd服务，用于后台启动
首先在创建一个flanneld.service，该文件的内容在课件中有参考（注意需要按自己的环境配置ip）：
vim /etc/systemd/system/flanneld.service
- [Unit]
- Description=Flanneld
- After=network.target
- After=network-online.target
- Wants=network-online.target
- ##1.flannel服务需要先于Docker启动，后于etcd启动
- After=etcd.service
- Before=docker.service
-
- [Service]
- User=root
- ##2.ExecStart即flanneld启动程序位置
- ##3.--etcd-endpoints参数为ectd集群客户端地址
- ##4.--iface参数为要绑定的网卡的IP地址，或是网卡名(ifconfig查看获得)请根据实际情况修改
- ExecStart=/opt/flannel/flanneld \
- --etcd-endpoints=http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379 \
- --etcd-prefix=/coreos.com/network \
- --iface=ens33 \
- --ip-masq
- Restart=on-failure
- Type=notify
- LimitNOFILE=65536
- [Install]
- WantedBy=multi-user.target
6） 配置环境变量，指定使用flannel v2 的api
vim /etc/profile
export ETCDCTL_API=2
使环境变量生效
source /etc/profile
注： etcd的v2和v3版本的api是不兼容的，flannel中使用了v2版本。
7） 向etcd注册网段,供flanneld使用
注：运行前请确定etcd集群正常启动。
命令如下：
ETCDCTL_API=2 etcdctl --endpoints "http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379" \
set /coreos.com/network/config '{"NetWork":"10.0.0.0/16","SubnetMin": "10.0.1.0", "SubnetMax": "10.0.20.0","Backend": {"Type": "vxlan"}}'
- [root@localhost flannel]# ETCDCTL_API=2 etcdctl --endpoints "http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379" \> set /coreos.com/network/config '{"NetWork":"10.0.0.0/16","SubnetMin": "10.0.1.0", "SubnetMax": "10.0.20.0","Backend": {"Type": "vxlan"}}'
- {"NetWork":"10.0.0.0/16","SubnetMin": "10.0.1.0", "SubnetMax": "10.0.20.0","Backend": {"Type": "vxlan"}}
- [root@localhost flannel]#
检查是否可以正常获取值
命令如下：
ETCDCTL_API=2 etcdctl --endpoints "http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379" get /coreos.com/network/config
- [root@localhost flannel]# ETCDCTL_API=2 etcdctl --endpoints "http://192.168.229.132:2379,http://192.168.229.133:2379,http://192.168.229.134:2379" get /coreos.com/network/config
- {"NetWork":"10.0.0.0/16","SubnetMin": "10.0.1.0", "SubnetMax": "10.0.20.0","Backend": {"Type": "vxlan"}}
- [root@localhost flannel]#
8）flanneld服务启用/自启/停止/重启
- systemctl daemon-reload #重新加载服务
- systemctl enable flanneld #设置开机启动
- systemctl start flanneld #启动flannel
- systemctl stop flanneld #停止flanne
- systemctl status flanneld #查看状态
- systemctl restart flanneld #重启flannel
注：为便于演示启动过程，在etcd配置集群时暂时没用配置开机启动，所以此处也暂时不对flannel进行开机启动，如果flannel需要开机自启，可先将etcd集群设置自启。
9）配置Docker
在各个节点安装好Docker，然后更改Docker的启动参数，使其能够使用flannel进行IP分配，以及网络通讯。
- 在Flannel运行之后，会生成一个环境变量文件，包含了当前主机要使用flannel通讯的相关参数
- [root@localhost flannel]# cat /run/flannel/subnet.env
- FLANNEL_NETWORK=10.0.0.0/16
- FLANNEL_SUBNET=10.0.19.1/24
- FLANNEL_MTU=1450
- FLANNEL_IPMASQ=true
- [root@localhost flannel]#
- 创建目录，用于存放下一步需要生成的docker环境配置文件
mkdir -p /usr/flannel
- 创建Docker运行参数
使用flannel提供的脚本将subnet.env转写成Docker启动参数，目前时不存在的，转换之后会生成。
- [root@localhost flannel]# /opt/flannel/mk-docker-opts.sh -d /usr/flannel/docker_opts.env -c
- [root@localhost flannel]#
- [root@localhost flannel]# cat /usr/flannel/docker_opts.env
- DOCKER_OPTS=" --bip=10.0.19.1/24 --ip-masq=false --mtu=1450"
- [root@localhost flannel]#
--bip=10.0.19.1/24，即为docker0虚拟网卡的地址
--ip-masq=false 为网桥上的IP地址开启IP伪装
注意：网络有资料将docker_opts.env放在/run/flannel目录下，但run目录下重启系统后docker_opts.env文件会自动消失，建议将docker_opts.env放在其他目录，如：/usr/flannel，其他的配置需要做相应改动（/lib/systemd/system/docker.service 中的EnvironmentFile）
- 修改Docker启动参数
编辑 systemd service 配置文件
vim /lib/systemd/system/docker.service
##下面是docker.service要修改的2个地方
##1.[Service]节中,指定启动参数所在的文件位置(这个配置是新增的)
EnvironmentFile=/usr/flannel/docker_opts.env
##在原有ExecStart后面添加$DOCKER_OPTS
##修改前
#ExecStart=/usr/bin/dockerd
##2.修改后
ExecStart=/usr/bin/dockerd $DOCKER_OPTS
注意：该截图上的EnvironmentFile配置为没有将docker_opts.env放到/usr/flannel/下的配置截图。仅供参考，为说明配置项在整个配置文件中的位置。
- 重新加载systemd配置，并重启Docker即可
systemctl daemon-reload && systemctl restart docker && systemctl status docker
- 重启之后查看网络配置
ifconfig
10） 按上面相同的步骤配置其他两台虚拟机
11） 测试flannel网络
- 下载一个centos的镜像
docker pull centos
- 设置防火墙规则，否则不同主机的docker容器的通讯，会被防火墙禁止
iptables -P INPUT ACCEPT && iptables -P FORWARD ACCEPT && iptables -F && iptables -L -n
- 启动容器
[root@localhost flannel]# docker run -it centos /bin/bash
-
在集群中的两外两台机器下载centos镜像，设置防火墙，运行容器，步骤与上面的相同。
-
查看centos容器的ip地址，在其他的机器中进行测试。
node-1：
node-2：
node-1 新建一个连接窗口，测试同一台苏州机上的容器通讯
四，docker-compose
1. compose作用
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排，通过编写docker-compose文件可对多个服务同时进行启动/停止/更新(可定义依赖，按顺序启动服务) 。
docker-compose将所管理的容器分为3层结构：
project 1 一个微服务项目
service N 由N个微服务组成
container N 而每个微服务又由N个节点组成
一个微服务架构的系统有多个服务组成，一个服务可以启动多台机器集群。
使用compose基本上是一个三步过程：
1）用dockerfile，或者镜像定义应用程序的环境，以便在任何地方复制。
2）在docker-compose.yml中定义组成应用程序的服务，以便它们可以在单独的环境中一起运行。
3）运行docker compose up启动并运行整个应用程序。
2. docker-componse安装
- # 下载
- curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
-
- # 2. 赋权
- chmod +x /usr/local/bin/docker-compose
-
- # 3. 在/usr/bin 目录下创建连接
- ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
-
- # 4. 检查版本号
- docker-compose --version
3. 配置示例
该示例通过配置nginx + tomcat（3台）集群，来演示docker-compose的基本使用。
3.1 docker-compose.yml示例
- version: "3.9" # optional since v1.27.0services:
- services:
- frontend:
- image: awesome/webapp
- ports:
- - "443:8043"
- networks:
- - front-tier
- - back-tier
- configs:
- - httpd-config
- secrets:
- - server-certificate
-
- backend:
- image: awesome/database
- volumes:
- - db-data:/etc/data
- networks:
- - back-tier
-
- volumes:
- db-data:
- driver: flocker
- driver_opts:
- size: "10GiB"
-
- configs:
- httpd-config:
- external: true
-
- secrets:
- server-certificate:
- external: true
-
- networks:
- # The presence of these objects is sufficient to define them
- front-tier: {}
- back-tier: {}
注1：Compose目前有三个版本分别为Version 1，Version 2，Version 3，Compose区分Version 1和Version 2（Compose 1.6.0+，Docker Engine 1.10.0+）。Version 2支持更多的指令。Version 1将来会被弃用
3.2 准备工作
1） 准备需要的挂载目录，用于挂载nginx配置文件，日志，tomcat的部署目录，日志等
- # nginx挂载目录
- mkdir -p /opt/nginx/conf/ /opt/nginx/www /opt/nginx/logs
-
- # tomcat挂载目录
- mkdir -p /opt/tomcat/webapps/ROOT /opt/tomcat/conf /opt/tomcat/logs
2）在宿主机/opt/tomcat/webapps/ROOT目录下创建一个用于测试的html文件。
- <!DOCTYPE html>
- <html>
- <head>
- <meta charset="utf-8"/>
- <title>Nginx+tomcat集群</title>
- </head>
-
- <body>
- <h1>Nginx+tomcat集群部署示例</h1>
- </body>
- <html>
- 配置nginx的配置文件
3）docker-compose.yml文件，可以从课件中上传
- version: '3.9'
- services:
-
- tomcat01:
- container_name: tomcat01
- image: tomcat
- volumes:
- - /opt/tomcat/webapps:/usr/local/tomcat/webapps
- networks:
- mynet:
- ipv4_address: 192.168.0.10
-
- tomcat02:
- container_name: tomcat02
- image: tomcat
- volumes:
- - /opt/tomcat/webapps:/usr/local/tomcat/webapps
- networks:
- mynet:
- ipv4_address: 192.168.0.11
-
- tomcat03:
- container_name: tomcat03
- image: tomcat
- volumes:
- - /opt/tomcat/webapps:/usr/local/tomcat/webapps
- networks:
- mynet:
- ipv4_address: 192.168.0.12
-
- nginx:
- #定义主机名
- container_name: mynginx
- #使用的镜像
- image: nginx
- #容器的映射端口
- ports:
- - 80:80
- depends_on:
- - tomcat01
- - tomcat02
- - tomcat03
- #定义挂载点
- volumes:
- - /opt/nginx/www:/usr/share/nginx/html
- - /opt/nginx/conf/nginx.conf:/etc/nginx/nginx.conf
- - /opt/nginx/logs:/var/log/nginx
- #指定容器网络
- networks:
- mynet:
- ipv4_address: 192.168.0.20
- #docker 重启后，容器自启动
- restart: always
-
- networks:
- mynet:
- ipam:
- driver: default
- config:
- - subnet: "192.168.0.0/24"
4） 使用docker-compose运行容器
docker-compose up -d
4. 常用命令
-
- 1）docker-compose up：构建并启动容器
- #启动单个服务：
- docker-compose up 服务名称 #服务名称来自于docker-compose.yml中services指定的容器服务名
- #启动多个服务：
- docker-compose up
- #后台启动服务
- docker-compose up -d
-
- 2）docker-compose down：停止和删除容器、网络、卷、镜像
-
- 3）docker-compose start [服务名称]：启动指定服务或启动所有服务
-
- 4）docker-compose stop [服务名称]：停止指定服务或停止所有服务
-
- 5）docker-compose ps：列出所有运行容器
-
- 6）docker-compose exec：进入指定容器
