Day10-网络通信-calico、flannel

环境：
centos7.9  
通知：CentOS 8操作系统版本结束了生命周期（EOL），Linux社区已不再维护该操作系统版本。建议您切换到Anolis或Alinux。如果您的业务过渡期仍需要使用CentOS 8系统中的一些安装包，请根据下文切换CentOS 8的源。
所以我们这块要切换一下源

• 1.
• 2.
• 3.
• 4.

# 切换为华为云的源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.huaweicloud.com/repository/conf/CentOS-7-anon.repo
 
yum clean all 
yum makecache

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

# 安装docker依赖包  --后期备注 ： 这个下载不了 很多都没有软件包
yum -y install yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 
yum list docker-ce --showduplicates | sort -r
 
yum install -y docker-ce-18.03.1.ce-1.e17.centos
 
 
 
 
# 最后采用二进制安装 20.10.10版本
压缩包和对应文件自备
tar -zxvf 
mv docker/* /usr/bin
mv docker.service /usr/lib/systemd/system/
mv daemon.json /etc/docker/
 
systemctl enable docker
systemctl start docker
 
 
 

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.

安装对应的包和依赖
yum install -y conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
 
yum -y install wget jq psmisc vim net-tools nfs-utils socat telnet device-mapper-persistent-data lvm2 git network-scripts tar curl -y
 
yum -y install lrzsz git subversion gpm unzip zip curl wget net-tools vim gcc
yum -y install wget jq psmisc vim net-tools nfs-utils telnet yum-tuils device-mapper-persistent-data lvm2 git tar curl -y
yum -y install conntrack socat ipset ipvsadm ebtables

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

关闭防火墙\selinux
vim /etc/selinux/config
service firewalld stop
systemctl disable firewalld.service

• 1.
• 2.
• 3.
• 4.

vim /etc/hosts
192.168.0.51 centos7-jichao-051 
192.168.0.52 centos7-jichao-052 

• 1.
• 2.
• 3.

vim /etc/sysconfig/network-scripts/ifcfg-ens32

• 1.

机器51，52  53 centos7.9 其他的需要去编译 时间较长
cat  /etc/hosts
 
组件：
51 部署etcd,flannel,docker   hostname:centos7-jichao-051  主控端 通过etcd
52 部署flannel，docker       hostname:centos7-jichao-052
53 部署flannel，docker       hostname:centos7-jichao-053

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

flannel 能够让不通的容器上的docker 容器都拥有唯一的Ip地址，不像之前的docker0分配虚拟地址，这样不同的容器可能会出现同样的ip地址
underlay 物理网络
overlay 虚拟网络
flannel 是一种overlay 网络，表示运行在一个网上的网（应用层网络）并不依靠ip地址传递信息，而是采用映射机制，把ip地址和identifiers做映射来资源定位，即把tcp数据包装在另一种网络包里进行理由转发和通信
flannel使用etcd存储配置数据和子网分配信息
flannel启动之后，后台进程首先检索配置和正在使用的子网列表，选择一个可用的子网，去注册它，etcd也存储每个主机对应的Ip
flannel使用etcd的watch机制监视/coreos.com/network/subnets下面所有元素的变化信息
并且根据它来维护一个路由表，为提高性能，flannel优化了universal TAP/TUN设备

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

这属于二层网络，基于下一跳-网关
三层网络宣告

• 1.
• 2.

打开中继路由
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf

• 1.
• 2.

# 防火墙规则
iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -F
iptables -L -n

• 1.
• 2.
• 3.
• 4.
• 5.

机器51部署etcd
yum -y install etcd
vim /etc/etcd/etcd.conf

• 1.
• 2.
• 3.

客户端网络要注入到flannel 地址里面去 下面是访问地址 把路由放到etcd里面去
上面是监听
 
service etcd start
chkconfig etcd on
ps -ef | grep etcd
 
这个是单机的etcd

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

查看端口是否正常
etcdctl -C http://192.168.0.51:4001 cluster-health
etcdctl -C http://192.168.0.51:2379 cluster-health

• 1.
• 2.
• 3.

查看etcd 成员
etcdctl member list

• 1.
• 2.

yum -y install flannel

• 1.

cp /etc/sysconfig/flanneld /etc/sysconfig/flanneld.bak
vim /etc/sysconfig/flanneld

• 1.
• 2.

# 注意！！！！！！！！！！！！！！！！！！！！！！！！！！
这里我们出错了  我们这个网段不能和宿主机网段相同 不然会出现flanneld无法启动的情况
我们设置的网段和宿主机是一个网段，所以会报错，flannel无法启动
etcdctl mk /atomic.io/network/config '{"Network:"192.123.0.0/16","SubnetMin": "192.123.1.0","SubnetMax": "192.123.254.0"}'
 
 
更改为
etcdctl mk /atomic.io/network/config '{"Network:"172.27.0.0/16","SubnetMin": "172.27.1.0","SubnetMax": "172.27.254.0"}'

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

启动flanneld
service flanneld start
chkconfig flanneld on

• 1.
• 2.
• 3.

# 注意，docker 也要进行重启
systemctl restart docker
ifconfig

• 1.
• 2.
• 3.

cat /run/flannel/subnet.env
cat /run/flannel/docker
vim /usr/lib/systemd/system/docker.service
systemctl daemon-reload
systemctl restart docker.service

• 1.
• 2.
• 3.
• 4.
• 5.

systemctl start flanneld
systemctl enable flanneld
ps -ef |grep flannel

• 1.
• 2.
• 3.

vim /usr/lib/systemd/system/docker.service

• 1.

vim /usr/lib/systemd/system/docker.service

• 1.

# 完成之后都进行重启
systemctl daemon-reload
systemctl restart docker

• 1.
• 2.
• 3.

51   by1

• 1.

52 by2

• 1.

53 by3

• 1.

 通信成功！

• 1.

1、 打开中继路由
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
 
2、# 防火墙规则
iptables -P INPUT ACCEPTiptables -P FORWARD ACCEPTiptables -Fiptables -L -n
 
3、 yum -y install flannel
 
4、 更改配置文件 
vim /etc/sysconfig/flanneld  改为etcd地址
 
5、启动flannel systemctl start flanneld
systemctl enable flanneld
 
6、cat /run/flannel/subnet.env
cat /run/flannel/docker
 
7、vim /usr/lib/systemd/system/docker.service
把启动后加入  /run/flannel/docker 后面的bip 
 
8、重启docker
 
9、ifconfig
 

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.

对等网，物理网-underlay network
flannel  overlay network 虚拟网络
思考： k8s - 三个网络 ：1、物理网络 2、svc网络 3、pod网络
那这三个网络我全弄成物理网络那个Ip 可以嘛? 就不用走那么多规则，是不是更加高效呢？两个集群之间的Pod不就直接可以相互通信了嘛？
答案是：可以 
那安全怎么解决？ -> 安全加固，低运行时 runc!  kata + gvisor  + 扫描器
资源限制-> 限制cpu 限制内存
 
 
可以一个集群有状态服务 ， 一个集群无状态服务
# 扩展
daocloud   https://docs.daocloud.io/network/intro/what/#cilium-macvlansr-iovipvlan-spiderpool-multus
kubesphere   https://kubesphere.io/zh/docs/v3.4/release/release-v341/
rancher     https://www.rancher.cn/products/
rainbond   https://www.rainbond.com/

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.

calico的原理理解起来，不是那么容易，我们可以先进行搭建，在进行理解
下图是calico的跨主机通信

• 1.
• 2.

系统 centos7.9
# 这边复习下初始化，操作就不列举了
主机 
51   centos-jichao-101  安装dockder+etcd(集成) + calicoctl
52   centos-jichao-102  安装dockder+etcd(集成) + calicoctl
53   centos-jichao-103  安装dockder+etcd(集成) + calicoctl

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

vim /etc/sysctl.conf
net.ipv4.conf.all.rp_filter=1
net.ipv4.ip_forward=1

• 1.
• 2.
• 3.

iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -F
iptables -L -n

• 1.
• 2.
• 3.
• 4.

scp /etc/sysctl.conf root@192.168.0.102:/etc/
scp /etc/sysctl.conf root@192.168.0.103:/etc/

• 1.
• 2.

yum -y install etcd

• 1.

# 备份etcd.conf  + 置空etcd.conf
cp /etc/etcd/etcd.conf /etc/etcd/etcd.conf.bak
> /etc/etcd/etcd.conf
cat > /etc/etcd/etcd.conf  << EOF
#[Member]
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
 
ETCD_NAME="centos-jichao-101"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.0.101:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.0.101:2379"
ETCD_INITIAL_CLUSTER="centos-jichao-101=http://192.168.0.101:2380,centos-jichao-102=http://192.168.0.102:2380,centos-jichao-103=http://192.168.0.103:2380"
EOF

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.

scp /etc/etcd/etcd.conf root@192.168.0.102:/etc/etcd/etcd.conf
scp /etc/etcd/etcd.conf root@192.168.0.103:/etc/etcd/etcd.conf

• 1.
• 2.

102,103 机器
vim /etc/etcd/etcd.conf 改一下主机名 ETCD_NAME="centos-jichao-102\103"
更改ip地址

• 1.
• 2.
• 3.

这三台机器就组成了etcd集群
cat /etc/hosts文件是要注意要写的

• 1.
• 2.

# 启动etcd
systemctl start etcd
systemctl enable etcd
#三个节点同时启动

• 1.
• 2.
• 3.
• 4.

查看成员
etcdctl memebet list

• 1.
• 2.

ps -ef | grep etcd 
netstat -nultp | grep 2379

• 1.
• 2.

# 查看健康
etcdctl cluster-health

• 1.
• 2.

在三台机器的docker.service中添加  --cluster-store=etcd://机器ip：2379
vim /usr/lib/systemd/system/docker.service
# 如下图所示，都是一样的更改

• 1.
• 2.
• 3.

systemctl daemon-reload
systemctl restart docker.service

• 1.
• 2.

# 我们这里重启报错了，所以我们把原来docker除了我们添加的部分删除，即可重启成功

• 1.

ps -ef | grep docker

• 1.

# 下载calicoctl
https://github.com/projectcalico/calicoctl/releases
下载3.16的

• 1.
• 2.
• 3.

chmod +x calicoctl
mv calicoctl /usr/local/bin

• 1.
• 2.

calicoctl version

• 1.

docker pull quay.io/calico/node:v2.6.10

• 1.

docker run --net=host --privileged --name=calico-node -d --restart=always -e NODENAME=centos-jichao-101 -e CALICO_NETWORKING_BACKEND=bird -e CALICO_LIBNETWORK_ENABLED=true -e IP=192.168.0.101 -e ETCD_ENDPOINTS=http://127.0.0.1:2379 -v /var/log/calico:/var/log/calico -v /var/run/calico:/var/run/calico -v /lib/modules:/lib/modules -v /run:/run -v /run/docker/plugins:/run/docker/plugins -v /var/run/docker.sock:/var/run/docker.sock quay.io/calico/node:v2.6.10
 

• 1.
• 2.

docker exec -it calico-node env

• 1.

# 查看calico集群状态
calicoctl node status

• 1.
• 2.

ipPool.yaml
apiVersion: v1
kind: ipPool
metedate:
  cidr: 10.244.10.0/24
spec:
  ipip:
    enabled: true
  nat-outgoing: true
  disabled: false
  
  # 再把scp给102 103机器

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.

calicoctl create -f ipPool.yaml
calicoctl get ipPool -o wide

• 1.
• 2.

在创建的ipPool中创建子网络
docker network create --driver calico --ipam-driver calico-ipam --subnet 10.244.10.0/24 calico-net1
docker network create --driver calico --ipam-driver calico-ipam --subnet 10.244.20.0/24 calico-net2
docker network create --driver calico --ipam-driver calico-ipam --subnet 10.244.30.0/24 calico-net3

• 1.
• 2.
• 3.
• 4.

--driver calico 网络使用calico驱动
--ipam-driver calico-ipam : 指定calico 的ipam 驱动管理ip
-subnet:指定calico-net1、calico-net2、calico-net3
这三个网段是global网段，etcd会将它们三个同步到所有的机器

• 1.
• 2.
• 3.
• 4.

# 开启ipv6转发
echo 1 > /proc/sys/net/ipv6/conf/default/disable_ipv6
echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6
 
101 
docker run -itd --net calico-net1 --name docker-test1 busybox
docker run -itd --net calico-net2 --name docker-test11 busybox
docker run -itd --net calico-net3 --name docker-test111 busybox
 
 
102
docker run -itd --net calico-net1 --name docker-test2 busybox
docker run -itd --net calico-net2 --name docker-test22 busybox
docker run -itd --net calico-net3 --name docker-test222 busybox
 
103
docker run -itd --net calico-net1 --name docker-test3 busybox
docker run -itd --net calico-net2 --name docker-test33 busybox
docker run -itd --net calico-net3 --name docker-test333 busybox

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.

101
docker exec -it docker-test1 ifconfig |grep inet
docker exec -it docker-test11 ifconfig |grep inet
docker exec -it docker-test111 ifconfig |grep inet
102
docker exec -it docker-test2 ifconfig |grep inet
docker exec -it docker-test22 ifconfig |grep inet
docker exec -it docker-test222 ifconfig |grep inet
103
docker exec -it docker-test3 ifconfig |grep inet
docker exec -it docker-test33 ifconfig |grep inet
docker exec -it docker-test333 ifconfig |grep inet
 

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.

docker exec -it docker-test1 ping -c 2 docker-test2.calico-net1
docker exec -it docker-test1 ping -c 2 docker-test3.calico-net1
docker exec -it docker-test11 ping -c 2 docker-test22.calico-net2
docker exec -it docker-test11 ping -c 2 docker-test33.calico-net2
docker exec -it docker-test111 ping -c 2 docker-test222.calico-net3
docker exec -it docker-test111 ping -c 2 docker-test333.calico-net3

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

 route -n

• 1.

1、同一网段里面容器互相Ping的通（即使不在同一个节点上，只要创建容器时使用的是同一个子网段）
2、不在同一个子网段的容器是Ping不通的
3、宿主机能Ping通他自身的所有容器ip，但不能ping通其他节点上的容器Ip
4、所有节点的容器都能Ping通其他节点的宿主机ip 
 
 
 
即-在calico默认设置下，只允许位于同一网络中的容器之间通信，这样就实现了容器的跨主机互连，也可以更好实现网络隔离效果，位于不通网络下的容器想要通信，就要依赖calico的policy策略来实现了

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.