Kubernetes（k8s) 部署Flannel网络_k8s部署flannel

Kubernetes（k8s) 部署Flannel网络

一、Flannel 介绍

Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

在Kubernetes的网络模型中，假设了每个物理节点应该具备一段“属于同一个内网IP段内”的“专用的子网IP”。例如：

节点A：10.0.1.0/24
节点B：10.0.2.0/24
节点C：10.0.3.0/24
1
2
3

但在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。
Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

（一）、Flannel网络概述

**Overlay Network：**覆盖网络，在基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路连接起来
类似VPN隧道，原理为在物理网络上实现的逻辑网络
**VXLAN：**将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层包头进行封装，然后在以太网上传输，到达目的地后由隧道断电解封并将数据发给目标地址
**Flannel：**是Overlay网络的一种，也是将源数据包封装在另一种网络包中进行路由转发和通信，目前已支持UDP、VXLAN、AWS VPN和GCE路由等数据转发方式

• flannel原理简介：

① 数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。
② Flannel通过Etcd服务维护了一张节点间的路由表，在稍后的配置部分我们会介绍其中的内容。
③ 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一下的有docker0路由到达目标容器。

简单理解：容器10.1.15.2/24要访问10.0.20.3/24，经过所在主机的docker0，也就相当于这个容器的网关，转发到flannel0虚拟网卡，经过flanneld进行处理，将源容器的ip和目的容器的ip封装成内部ip，将源物理网卡的网关和目的物理网卡的网关封装成外部ip，并同时封装其MAC地址，源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后进入目的节点flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，传递到对应ip的容器

二、Flannel部署

接上一篇博客：Kubernetes（k8s）部署etcd集群

• 首先两个node节点需要先安装docker引擎，具体流程可见：Docker基本管理

2.1 flannel网络配置

先查一下etcd集群的健康状态

[root@localhost ssl]#/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.126.10:2379,https://192.168.126.20:2379,https://192.168.126.30:2379" cluster-health
member 1425cf30bdb2c3c6 is healthy: got healthy result from https://192.168.126.30:2379
member 5b8bf9271093fa26 is healthy: got healthy result from https://192.168.126.20:2379
member fe32c3d6206a7a33 is healthy: got healthy result from https://192.168.126.10:2379
cluster is healthy
1
2
3
4
5

1、 写入分配的子网段到ETCD中，供flannel使用(master主机）

[root@localhost etcd-cert]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.126.10:2379,https://192.168.126.20:2379,https://192.168.126.30:2379" set /coreos.com/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'

{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}

#命令简介：
#使用etcdctl命令，借助ca证书，目标断点为三个ETCD节点IP，端口为2379
#set /coreos.com/network/config 设置网段信息
#"Network": "172.17.0.0/16" 此网段必须是集合网段（B类地址），而Pod分配的资源必须在此网段中的子网段（C类地址）
#"Backend": {"Type": "vxlan"}} 外部通讯的类型是VXLAN
1
2
3
4
5
6
7
8
9

2、查看写入的信息

[root@localhost etcd-cert]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.126.10:2379,https://192.168.126.20:2379,https://192.168.126.30:2379" get /coreos.com/network/config
{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}
1
2

3、上传flannel软件包到所有的 node 节点并解压

[root@localhost ~]# tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 
flanneld
mk-docker-opts.sh
README.md
1
2
3
4

4、创建k8s工作目录(所有node节点）

[root@localhost ~]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p
[root@localhost ~]# mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
1
2

5、创建启动脚本（两个node节点)

从宿主机把flannel.sh拖进来

[root@localhost ~]# vim flannel.sh
#!/bin/bash

ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}

cat <<EOF >/opt/kubernetes/cfg/flanneld

FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \
-etcd-cafile=/opt/etcd/ssl/ca.pem \
-etcd-certfile=/opt/etcd/ssl/server.pem \
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"

EOF

cat <<EOF >/usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target

EOF

systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

6、开启flannel网络功能（两个node节点）

[root@localhost ~]# bash flannel.sh https://192.168.126.10:2379,https://192.168.126.20:2379,https://192.168.126.30:2379

Created symlink from /etc/systemd/system/multi-user.target.wants/flanneld.service to /usr/lib/systemd/system/flanneld.service.
1
2
3

7、配置docker连接flannel

[root@localhost ~]#cat /run/flannel/subnet.env 
DOCKER_OPT_BIP="--bip=172.17.7.1/24"
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.7.1/24 --ip-masq=false --mtu=1450"
1
2
3
4
5

[

root@localhost ~]# vim /usr/lib/systemd/system/docker.service

#在13行向下插入以下内容：
#想要docker可以使用flannel网络，需要设置env指向flannal的运行文件
EnvironmentFile=/run/flannel/subnet.env 

#原14行在dockerd 添加一个参数$DOCKER_NETWORK_OPTIONS
#此参数作用为 让docker使用的网络组件为flannel，而不是自身的组件
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
1
2
3
4
5
6
7
8
9

8、重启docker服务

[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker
1
2

9、查看flannel网络

[root@localhost ~]# ifconfig

10、测试ping通对方docker0网卡 证明flannel起到路由作用

[root@localhost ~]# docker run -it centos:7 /bin/bash
1

分别运行一个容器

[root@5f9a65565b53 /]# yum install net-tools -y  
1

安装ifconfig工具

[root@4de1f784786d /]# ifconfig 
1

11、再次测试ping通两个node中的centos:7容器

注：ping不通解决方法:
重启flanneld服务，重启network 重启docker
然后再ping

systemctl restart flanneld.service
systemctl restart network
systemctl restart docker
1
2
3