- 1Tensorflow 环境配置与安装版本的选择_tensorflow各版本 安装需求
- 2小程序获取不到用户头像和昵称返回微信用户问题解决，即小程序授权获取用户头像规则调整的最新解决方案_微信小程序获取头像加载弹出
- 3平面切分- 蓝桥杯第十一届Python组第九题_平面切分摘要
- 4zabbix配置（三）之mysql监控_怎么查看zabbix的mysql配置
- 5jdk8銝要onematch_JDK8新特性详解 - 纯粹而又极致的光--木九天 - OSCHINA - 中文开源技术交流社区...
- 6无线瘦AP部署——Capwap隧道原理及故障：无线Capwap隧道技术原理_在瘦ap与ac通讯,中,我们规定了capwap的通信方式,那么capwap隧道的建立步骤中几步
- 7一、Docker：Linux/Windows在线安装Docker与命令大全总结_docker for windows installer
- 8洛谷刷题C++语言 | P5705 数字反转_输入一个不小于100且小于1000数字反转c语言
- 9校验输入大于0且可保留小数点后两位数的正则_正则大于0保留两位小数
- 10可信计算3.0工程初步pdf_查校 | 英国大学工业工程与运筹学专业40个授课硕士+研究Mphil/Phd 项目汇总...
2021-7-20-KVM虚拟化基础_宿主机与源宿主机
赞
踩
KVM虚拟化基础
1，虚拟化介绍
虚拟化使用软件的方法重新定义划分 IT 资源，可以实现 IT 资源的动态分配、灵活调度、跨域共享，提高 IT 资源利用率，使 IT 资源能够真正成为社会基础设施，服务于各行各业中灵活多变的应用需求。
虚拟化是云计算的基础。简单的说，虚拟化使得在一台物理的服务器上可以跑多台虚拟机，虚拟机共享物理机的 CPU、内存、IO 硬件资源，但逻辑上虚拟机之间是相互隔离的。
物理机我们一般称为宿主机（Host），宿主机上面的虚拟机称为客户机（Guest）。
那么 Host 是如何将自己的硬件资源虚拟化，并提供给 Guest 使用的呢？
这个主要是通过一个叫做 Hypervisor 的程序实现的。
虚拟化层次种类：
- 完全虚拟化：hypervisor（VMWare vsPhere，VirtualPC，KVM）
- 准虚拟化（Xen）
- 系统虚拟化
- 桌面虚拟化
根据 Hypervisor 的实现方式和所处的位置，虚拟化又分为两种：
- 全虚拟化
- 半虚拟化
全虚拟化：
Hypervisor 直接安装在物理机上，多个虚拟机在 Hypervisor 上运行。Hypervisor 实现方式一般是一个特殊定制的 Linux 系统。Xen 和 VMWare 的 ESXi 都属于这个类型
半虚拟化：
物理机上首先安装常规的操作系统，比如 Redhat、Ubuntu 和 Windows。Hypervisor 作为 OS 上的一个程序模块运行，并对虚拟机进行管理。KVM、VirtualBox 和 VMWare Workstation 都属于这个类型。
理论上讲：
全虚拟化一般对硬件虚拟化功能进行了特别优化，性能上比半虚拟化要高；
半虚拟化因为基于普通的操作系统，会比较灵活，比如支持虚拟机嵌套。嵌套意味着可以在KVM虚拟机中再运行KVM。
虚拟化优点：
- 降低运营成本
- 提高应用兼容性
- 加速应用部署
- 提高服务可用性
- 提升资源利用率
- 动态调度资源
- 降低能源消耗
2，KVM介绍
kVM 全称是 Kernel-Based Virtual Machine。也就是说 KVM 是基于 Linux 内核实现的。
KVM有一个内核模块叫 kvm.ko，只用于管理虚拟 CPU 和内存。
那 IO 的虚拟化，比如存储和网络设备则是由 Linux 内核与Qemu来实现。
作为一个 Hypervisor，KVM 本身只关注虚拟机调度和内存管理这两个方面。IO 外设的任务交给 Linux 内核和 Qemu。
1、KVM：运行在内核空间，提供CPU和内存的虚拟化
Libvirt 就是 KVM 的管理工具，Libvirt 除了能管理 KVM 这种 Hypervisor，还能管理 Xen，VirtualBox 等。
Libvirt 包含 3 个东西：后台 daemon 程序 libvirtd、API 库和命令行工具 virsh
- libvirtd是服务程序，接收和处理 API 请求；
- API 库使得其他人可以开发基于 Libvirt 的高级工具，比如 virt-manager，这是个图形化的 KVM 管理工具；
- virsh 是我们经常要用的 KVM 命令行工具
2、QEMU：运行在用户空间，提供硬件I/O虚拟化
3、kvm虚拟化所需组件介绍
kvm：核心套件
virt-manager：图形化 KVM 管理软件
libvirt：提供虚拟机与宿主相互通信的机制
libvirt-python：允许使用 libvirt API
python-virtinst：CLI 下创建 KVM 的工具
libvirt-client：提供 client 访问 kvm 服务器的机制 ,并包含 virsh 命令进行 管理和控制VMs
qemu-kvm：提供用户级 KVM 环境
qemu-img：VMs 磁盘管理
4、KVM 的虚拟化需要硬件支持（需要处理器支持虚拟化：如 Intel 厂商的 Intel-VT （ vmx ）技术&&AMD 厂商的 AMD-V （ svm ）技术。
查看是否支持虚拟化：cat /proc/cpuinfo | grep -e vmx -e nx -e svm 或者 egrep ‘(vmx|svm)’ /proc/cpuinfo
5、kvm虚拟机配置文件位置：/etc/libvirt/qemu
kvm虚拟机磁盘文件位置：/var/lib/libvirt/images
3、kvm虚拟化透传
KVM 虚拟化需要处理器对虚拟化技术的支持，当我们需要进行虚拟机嵌套虚拟机时，我们需要让虚拟机中处理器对 VT 功能的支持达到透传的效果。
nested 虚拟机嵌套（ kvm on kvm ）：nested 技术，简单的说，就是在虚拟机上跑虚拟机。
1、查看一层客户端是否支持 VT
grep` `vmx ``/proc/cpuinfo
- 1
2、在物理服务器上为嵌套虚拟机做准备 — CPU 虚拟化透传
（1）# vim /etc/modprobe.d/kvm-nested.conf （新建配置文件）
options kvm_intel nested=1
- 1
（2）重新加载 kvm 模块
modprobe -r kvm_intel #-r参数：remove掉kvm_intel模块modprobe kvm_intel #加载kvm_intel模块
- 1
（3）验证是否加载成功
cat` `/sys/module/kvm_intel/parameters/nested
- 1
Y —“Y” 表示 cpu 虚拟化透传功能开启
3、编辑需要做虚拟化透传的虚拟机的配置文件
virsh edit centos7 （ Virtual Machine Name ）``<cpu mode=``'host-passthrough'``/>
- 1
4、进入虚拟机中查看cpu是否透传成功
lsmod | ``grep` `kvm
- 1
4，KVM存储管理
KVM 的存储虚拟化是通过存储池（Storage Pool）和卷（Volume）来管理的。
Storage Pool 是宿主机上可以看到的一片存储空间，可以是多种型；
Volume 是在 Storage Pool 中划分出的一块空间，宿主机将 Volume 分配给虚拟机，Volume 在虚拟机中看到的就是一块硬盘。
厚置备：厚置备是传统存储置备模型。对于厚置备，预先提供大量存储空间以满足未来的存储需要。但是，空间可能一直未被使用，这样会导致无法充分利用存储容量。
精简置备：此方法与厚置备相反，通过以灵活的按需方式分配存储空间，可帮助您消除无法充分利用存储的问题。可以通过 ESXi，使用两种模型的精简置备（阵列级别和虚拟磁盘级别）。
KVM 将宿主机目录 /var/lib/libvirt/images/ 作为默认的 Storage Pool，Volume 是该目录下面的文件了，一个文件就是一个 Volume。
使用文件做 Volume 有很多优点：存储方便、移植性好、可复制。
KVM 支持多种 Volume 文件格式：
raw：是默认格式，即原始磁盘镜像格式，移植性好，性能好，但大小固定，不能节省磁盘空间。
qcow2：是推荐使用的格式，cow 表示 copy on write，能够节省磁盘空间，支持 AES 加密，支持 zlib 压缩，支持多快照，功能很多。
vmdk：是 VMWare 的虚拟磁盘格式，也就是说 VMWare 虚机可以直接在 KVM上 运行。
5，KVM网络管理
3.5.1、kvm的三种网络模式
（1）NAT（默认上网）：虚拟机利用 host 机器的 ip 进行上网。对外显示一个 ip；
（2）自带的bridge：将虚拟机桥接到 host 机器的网卡上 ,vm和 host 机器都通过 bridge 上网；对外有同网段的不通 ip，此种方式host却不能和vm联通
（3）Linux bridge：基本原理就是创建一个桥接接口 br0 ，在物理网卡和虚拟网络接口之间传递数据。此种方式host也可以和vm连通；是 Linux 上用来做 TCP/IP 二层协议交换的设备
3.5.2、linux bridge命令：
brctl addbr <bridge> add bridge #添加网桥
brctl delbr <bridge> delete bridge #删除网桥
brctl addif <bridge> <device> add interface to bridge #向网桥添加接口`
brctl delif <bridge> <device> delete interface from bridge #删除网桥上接口
brctl show [ <bridge> ] show a list of bridges #查看网桥列表
- 1
- 2
- 3
- 4
- 5
3.5.3、网卡配置bond（绑定）
（一）网卡bond（绑定），也称作网卡捆绑。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。网卡是通过把多张网卡绑定为一个逻辑网卡，实现本地网卡的冗余，带宽扩容和负载均衡，在应用部署中是一种常用的技术。
多网卡绑定实际上需要提供一个额外的软件的bond驱动程序实现。通过驱动程序可以将多块网卡屏蔽。对TCP/IP协议层只存在一个Bond网卡，在Bond程序中实现网络流量的负载均衡，即将一个网络请求重定位到不同的网卡上，来提高总体网络的可用性。
（二）网卡绑定的目的：
1.提高网卡的吞吐量。
2.增强网络的高可用，同时也能实现负载均衡。
（三）网卡配置bond（绑定）bond模式：
1、Mode=0(balance-rr) 表示负载分担round-robin，平衡轮询策略，具有负载平衡和容错功能
bond的网卡MAC为当前活动的网卡的MAC地址，需要交换机设置聚合模式，将多个网卡绑定为一条链路。
2、Mode=1(active-backup) 表示主备模式，具有容错功能，只有一块网卡是active,另外一块是备的standby，这时如果交换机配的是捆绑，将不能正常工作，因为交换机往两块网卡发包，有一半包是丢弃的。
3、Mode=2(balance-xor) 表示XOR Hash负载分担（异或平衡策略），具有负载平衡和容错功能
每个slave接口传输每个数据包和交换机的聚合强制不协商方式配合。（需要xmit_hash_policy）。
4、Mode=3(broadcast) 表示所有包从所有interface发出，广播策略，具有容错能力，这个不均衡，只有冗余机制…和交换机的聚合强制不协商方式配合。
5、Mode=4(802.3ad) 表示支持802.3ad协议（IEEE802.3ad 动态链接聚合） 和交换机的聚合LACP方式配合（需要xmit_hash_policy）。
6、Mode=5(balance-tlb) 适配器传输负载均衡，并行发送，无法并行接收，解决了数据发送的瓶颈。 是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave。
7、Mode=6(balance-alb) 在5的tlb基础上增加了rlb。适配器负载均衡模式并行发送，并行接收数据包。
5和6不需要交换机端的设置，网卡能自动聚合。4需要支持802.3ad。0，2和3理论上需要静态聚合方式，但实测中0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。
常用的有三种：
mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。
mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。
mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。
3.5.4，VLAN介绍
LAN 表示 Local Area Network，本地局域网，通常使用 Hub 和 Switch 来连接 LAN 中的计算机。一般来说，两台计算机连入同一个 Hub 或者 Switch 时，它们就在同一个 LAN 中。
一个 LAN 表示一个广播域。 其含义是：LAN 中的所有成员都会收到任意一个成员发出的广播包。
VLAN 表示 Virtual LAN。一个带有 VLAN 功能的switch 能够将自己的端口划分出多个 LAN。计算机发出的广播包可以被同一个 LAN 中其他计算机收到，但位于其他 LAN 的计算机则无法收到。 简单地说，VLAN 将一个交换机分成了多个交换机，限制了广播的范围，在二层将计算机隔离到不同的 VLAN 中。
比方说，有两组机器，Group A 和 B，我们想配置成 Group A 中的机器可以相互访问，Group B 中的机器也可以相互访问，但是 A 和 B 中的机器无法互相访问。 一种方法是使用两个交换机，A 和 B 分别接到一个交换机。 另一种方法是使用一个带 VLAN 功能的交换机，将 A 和 B 的机器分别放到不同的 VLAN 中。
VLAN 的隔离是二层上的隔离，A 和 B 无法相互访问指的是二层广播包（比如 arp）无法跨越 VLAN 的边界。但在三层上（比如IP）是可以通过路由器让 A 和 B 互通的。
现在的交换机几乎都是支持 VLAN 的。 通常交换机的端口有两种配置模式： Access 和 Trunk。如下图
Access 口
这些端口被打上了 VLAN 的标签，表明该端口属于哪个 VLAN。 不同 VLAN 用 VLAN ID 来区分，VLAN ID 的 范围是 1-4096。 Access 口都是直接与计算机网卡相连的，这样从该网卡出来的数据包流入 Access 口后就被打上了所在 VLAN 的标签。 Access 口只能属于一个 VLAN。
Trunk 口
假设有两个交换机 A 和 B。 A 上有 VLAN1（红）、VLAN2（黄）、VLAN3（蓝）；B 上也有 VLAN1、2、3，那如何让 AB 上相同 VLAN 之间能够通信呢？
办法是将 A 和 B 连起来，而且连接 A 和 B 的端口要允许 VLAN1、2、3 三个 VLAN 的数据都能够通过。这样的端口就是Trunk口了。 VLAN1, 2, 3 的数据包在通过 Trunk 口到达对方交换机的过程中始终带着自己的 VLAN 标签。
3.5.5，Linux Bridge实现Vlan的原理
KVM 虚拟化环境下实现 VLAN 架构，如下图
eth0 是宿主机上的物理网卡，有一个命名为 eth0.10 的子设备与之相连。 eth0.10 就是 VLAN 设备了，其 VLAN ID 就是 VLAN 10。 eth0.10 挂在命名为 brvlan10 的 Linux Bridge 上，虚机 VM1 的虚拟网卡 vent0 也挂在 brvlan10 上。
这样的配置其效果就是： 宿主机用软件实现了一个交换机（当然是虚拟的），上面定义了一个 VLAN10。 eth0.10，brvlan10 和 vnet0 都分别接到 VLAN10 的 Access口上。而 eth0 就是一个 Trunk 口。VM1 通过 vnet0 发出来的数据包会被打上 VLAN10 的标签。
eth0.10 的作用是：定义了 VLAN10
brvlan10 的作用是：Bridge 上的其他网络设备自动加入到 VLAN10 中
增加一个 VLAN20，如下图
这样虚拟交换机就有两个 VLAN 了，VM1 和 VM2 分别属于 VLAN10 和 VLAN20。
对于新创建的虚机，只需要将其虚拟网卡放入相应的 Bridge，就能控制其所属的 VLAN。
VLAN 设备总是以母子关系出现，母子设备之间是一对多的关系。 一个母设备（eth0）可以有多个子设备（eth0.10，eth0.20 ……），而一个子设备只有一个母设备。
6，KVM迁移
6.1、迁移简介
迁移：
系统的迁移是指把源主机上的操作系统和应用程序移动到目的主机，并且能够在目的主机上正常运行。
在没有虚拟机的时代，物理机之间的迁移依靠的是系统备份和恢复技术。在源主机上实时备份操作系统和应用程序的状态，然后把存储介质连接到目标主机上，最后在目标主机上恢复系统。随着虚拟机技术的发展，系统的迁移更加灵活和多样化。
最终我们迁移的目的就是：
1、简化系统维护管理
2、高系统负载均衡
3、增强系统错误容忍度
4、优化系统电源管理
6.2、热迁移 —Live Migration
1、热迁移（又叫动态迁移、实时迁移），即虚拟机保存（ save ） / 恢复 (restore) ：将整个虚拟机的运行状态完整保存下来，同时可以快速的恢复到原有硬件平台甚至是不同硬件平台上。恢复以后，虚拟机仍旧平滑运行，用户不会察觉到任何差异。
2、KVM 虚拟机的热迁移 —Live Migration：
服务器虚拟化技术是当前的热点，而虚拟机的“热迁移（ Live Migration ）”技术则是虚拟化技术当中的热点。
3、迁移的种类：
P2P ：物理机之间的迁移
V2P ：虚拟机迁到物理机
P2V ：物理机迁到虚拟机
V2V ：虚拟机迁到虚拟机
6.3、热迁移的应用
1、虚拟机的热迁移技术最初是被用于双机容错或者负载均衡：当宿主机出现软硬件故障导致服务异常时，虚拟机可漂移到另外主机上，或者在集群中依据工作负载量的大小，选择更换宿主机与否来保证自身良好的服务提供性。
2、系统硬件维护：当前很多操作系统都能够稳定支持 7×24 运行，但是硬件却需要定期的进行维护。如果使用虚拟机的动态迁移技术，将虚拟机从需要维护的物理机器迁移到另外一主器，等维护完成后，在将其迁回到原来的物理机器。所有的系统服务和应用程序在迁移 & 恢复后仍旧正常运行，用户不会察觉到由于硬件维护造成的中断。最终实现了我们服务不受硬件维护干扰的 7*24 小时的工作愿望。
3、数据库备份：对于一些大型、关键的数据库应用，备份是一项重要但复杂的工作。虚拟机的保存/ 恢复可以将数据库运行在虚拟机中，如需备份就保存虚拟机，这样数据库中的所有数据、状态都做了备份。如果数据库崩溃了，就可以通过恢复虚拟机来恢复整个数据库。
4、环境重现：进行性能测试或程序调试时，都需要重现当时复杂庞大并且与实时完全一致的网络环境 , 不仅仅是重启、配置软件，而且常常需要一定的运行时间。我们可以将各服务安装到独立的各个虚拟机，然后利用各个独立虚拟机部署我们所需的工作环境，可以大大缩短环境重现时间。
5、计算机共享： 在一些公共场合用户需要共享计算机，但是由于不同的系统配置和软件需要花费大量的时间来配置和恢复。这时使用虚拟机的保存 /恢复可以很好地解决这个问题。或者也可以，在物理机上运行多个逻辑虚拟机帮助我们分配给每一个需要者一个独立，安全，稳定的环境。当因为宿主机出现问题影响虚拟机使用时，我们可以让该虚拟机漂移到其他宿主机以此来保持正常工作。
6.4、热迁移的优势
1、首先是可伸缩性比较强， IT 管理者可以在合理时间段让运行某些关键业务的服务器适当减少工作量，以便进行更新操作系统，给应用程序打补丁等。而到了服务高峰期，又可以弹性地进行大负载量的运算。虚拟机迁移过程完全透明，几乎不影响使用。
2、其次，现在的数据中心都追求环保节能， 工作量负载大的应用程序必然会令服务器能耗增加，有了虚拟机热迁移技术，当一台物理服务器负载过大时，系统管理员可以将其上面的虚拟机迁移到其他服务器，可有效减低数据中心服务器的总体能耗，再通过冷却系统将数据中心的温度保持在正常水平。
6.5、热迁移的局限
进行虚拟机的热迁移也有不少的限制。例如，
VMotion 在进行迁移之前，管理软件会检测目标服务器的 X86 架构是否与原服务器兼容。包括存储设备以及处理器，虚拟机必须放到共享的存储里， CPU 的类型也要一样，不仅不能一个是英特尔，一个是 AMD ，甚至相同厂商不同产品线的CPU 也不行，比如英特尔至强和奔腾
6.6、衡量虚拟机迁移的效率
1、整体迁移时间：从源主机中迁移操作开始到目的主机上客户机服务处于不可用状态的时间，此时源主机上客户机已经暂停服务，目的主机上的客户机还未恢复服务。
2、服务器停机时间：在迁移过程中，源主机和目的主机上的客户机都处于不可用状态的时间，此时源主机上客户机已暂停，目的目的主机上客户还未恢复服务。
3、对服务的性能影响：不仅包括迁移后的客户机中应用程序的性能与迁移前相对比是否有所降低，还包括迁移后对目的主机上的其他服务的性能影响。
Kvm 动态迁移，也有如下几个建议和注意事项：
1、源宿主机和目的宿主机直接尽量用网络共享的存储系统来保存客户机磁盘镜像。例如 NFS ， ISCSI ， Glusterfs 等。
2、为了提高动态迁移的成功率，尽量在同类型 cpu的主机上面进行动态迁移，尽管 kvm 动态迁移也支持从 Intel 平台迁移到 amd 平台。 但，从安全性，稳定度考虑不建议这样去操作！！！
3、64 位的客户机只能运行在 64 宿主机之间的迁移，而 32 位客户机可以在 32 宿主机和 64 位宿主机之间迁移。
4、在进行动态迁移时，被迁移客户机的名称是唯一的，在目的宿主机上不能有与源宿主机被迁移客户机同名的客户机存在。
5、目的宿主机和源宿主机的软件尽可能的相同。也就是同为 Vmware ， KVM ， Xen 等。
7，KVM部署
环境说明：
IP：192.168.157.99
7.1，KVM安装
部署前请确保你的CPU虚拟化功能已开启。分为两种情况：
- 虚拟机要关机设置CPU虚拟化
- 物理机要在BIOS里开启CPU虚拟化
//关闭防火墙与selinux
[root@mp ~]# systemctl stop firewalld
[root@mp ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@mp ~]# setenforce 0
[root@mp ~]# sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/selinux/config
//这一步十分重要！！！
- 1
- 2
- 3
- 4
- 5
- 6
- 7
//配置网络源
[root@mp yum.repos.d]# curl -o /etc/yum.repos.d/CentOS7-Base-163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo
[root@mp ~]# sed -i 's/\$releasever/7/g' /etc/yum.repos.d/CentOS7-Base-163.repo
[root@mp ~]# sed -i 's/^enabled=.*/enabled=1/g' /etc/yum.repos.d/CentOS7-Base-163.repo
[root@mp ~]# yum -y install epel-release vim wget net-tools unzip zip gcc gcc-c++
安装过程略.....
- 1
- 2
- 3
- 4
- 5
//验证CPU是否支持KVM；如果结果中有vmx（Intel）或svm(AMD)字样，就说明CPU的支持的
[root@mp ~]# egrep -o 'vmx|svm' /proc/cpuinfo
vmx
vmx
vmx
vmx
- 1
- 2
- 3
- 4
- 5
//kvm安装
[root@mp ~]# yum -y install qemu-kvm qemu-kvm-tools qemu-img virt-manager libvirt libvirt-python libvirt-client virt-install virt-viewer bridge-utils libguestfs-tools
//安装过程省略......
- 1
- 2
//因为虚拟机中网络，我们一般都是和公司的其他服务器是同一个网段，所以我们需要把 KVM服务器的网卡配置成桥接模式。这样的话KVM的虚拟机就可以通过该桥接网卡和公司内部 其他服务器处于同一网段
//此处我的网卡是ens32，所以用br0来桥接ens32网卡
//对应修改或者添加以下内容即可
[root@mp ~]# vim /etc/sysconfig/network-scripts/ifcfg-br0
TYPE=Bridge
DEVICE=br0
NM_CONTROLLED=no
BOOTPROTO=static
NAME=br0
ONBOOT=yes
IPADDR=192.168.157.99
NETMASK=255.255.255.0
GATEWAY=192.168.157.2
DNS1=8.8.8.8
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
//保留以下内容即可
[root@mp ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens32
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
BRIDGE=br0
NM_CONTROLLED=no
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
[root@mp ~]# systemctl restart network [root@mp ~]# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master br0 state UP qlen 1000 link/ether 00:0c:29:93:a6:6c brd ff:ff:ff:ff:ff:ff inet6 fe80::20c:29ff:fe93:a66c/64 scope link valid_lft forever preferred_lft forever 3: ens35: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:93:a6:76 brd ff:ff:ff:ff:ff:ff 4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000 link/ether 00:0c:29:93:a6:6c brd ff:ff:ff:ff:ff:ff inet 192.168.157.99/24 brd 192.168.157.255 scope global br0 valid_lft forever preferred_lft forever inet6 fe80::20c:29ff:fe93:a66c/64 scope link valid_lft forever preferred_lft forever
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
//启动服务
[root@mp ~]# systemctl start libvirtd
[root@mp ~]# systemctl enable libvirtd
- 1
- 2
//验证安装结果
[root@mp ~]# lsmod|grep kvm
kvm_intel 170086 0
kvm 566340 1 kvm_intel
irqbypass 13503 1 kvm
- 1
- 2
- 3
- 4
//测试并验证安装结果
[root@mp ~]# virsh -c qemu:///system list
Id 名称 状态
----------------------------------------------------
[root@mp ~]# virsh --version
4.5.0
[root@mp ~]# virt-install --version
1.5.0
[root@mp ~]# ln -s /usr/libexec/qemu-kvm /usr/bin/qemu-kvm
[root@mp ~]# ll /usr/bin/qemu-kvm
lrwxrwxrwx. 1 root root 21 3月 14 14:17 /usr/bin/qemu-kvm -> /usr/libexec/qemu-kvm
[root@mp ~]# lsmod |grep kvm
kvm_intel 170086 0
kvm 566340 1 kvm_intel
irqbypass 13503 1 kvm
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
//查看网桥信息
[root@mp ~]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.000c2993a66c no ens32
virbr0 8000.5254009df26a yes virbr0-nic
- 1
- 2
- 3
- 4
7.2，KVM web管理界面安装
kvm 的 web 管理界面是由 webvirtmgr 程序提供的。
//安装依赖包
[root@mp ~]# yum -y install git python-pip libvirt-python libxml2-python python-websockify supervisor nginx python-devel
- 1
//升级pip
[root@mp ~]# pip install --upgrade pip
//过程省略......
- 1
- 2
//从github上下载webvirtmgr代码
[root@mp ~]# cd /usr/local/src/
[root@mp src]# git clone git://github.com/retspen/webvirtmgr.git
正克隆到 'webvirtmgr'...
remote: Enumerating objects: 5614, done.
remote: Total 5614 (delta 0), reused 0 (delta 0), pack-reused 561
接收对象中: 100% (5614/5614), 2.98 MiB | 1011.00 KiB/s, done.
处理 delta 中: 100% (3602/3602), done.
- 1
- 2
- 3
- 4
- 5
- 6
- 7
//安装webvirtmgr
[root@mp src]# cd webvirtmgr/
[root@mp webvirtmgr]# pip install -r requirements.txt
DEPRECATION: Python 2.7 will reach the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 won't be maintained after that date. A future version of pip will drop support for Python 2.7.
//安装过程省略......
- 1
- 2
- 3
- 4
//检查sqlite3是否安装
[root@mp webvirtmgr]# python
Python 2.7.5 (default, Oct 30 2018, 23:45:53)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sqlite3
>>> exit()
- 1
- 2
- 3
- 4
- 5
- 6
//初始化帐号信息
[root@kvm webvirtmgr]# python manage.py syncdb WARNING:root:No local_settings file found. Creating tables ... Creating table auth_permission Creating table auth_group_permissions Creating table auth_group Creating table auth_user_groups Creating table auth_user_user_permissions Creating table auth_user Creating table django_content_type Creating table django_session Creating table django_site Creating table servers_compute Creating table instance_instance Creating table create_flavor You just installed Django's auth system, which means you don't have any superusers defined. Would you like to create one now? (yes/no): yes //问你是否创建超级管理员帐号 Username (leave blank to use 'root'): //指定超级管理员帐号用户名，默认留空为root Email address: bebejo@126.com //设置超级管理员邮箱 Password:1 //设置超级管理员密码 Password (again):1 //再次输入超级管理员密码 Superuser created successfully. Installing custom SQL ... Installing indexes ... Installed 6 object(s) from 1 fixture(s)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
//拷贝web网页至指定目录
[root@mp webvirtmgr]# mkdir /var/www
[root@mp webvirtmgr]# cp -r /usr/local/src/webvirtmgr/ /var/www/
[root@mp webvirtmgr]# chown -R nginx.nginx /var/www/webvirtmgr/
- 1
- 2
- 3
//生成密钥
//全部保持默认，回车即可 [root@mp ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:3/LDSmdcrWbrJxAXtt9HJD13UKlz4lTbYrCqzUNVkWQ root@mp The key's randomart image is: +---[RSA 2048]----+ | .E*o| | ..*+=| | =o=*| | +==+o| | S oo+=+o| | .oo.o .+| | =+.=.+ .| | ..+=oo...| | .o.ooo | +----[SHA256]-----+
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
//由于这里webvirtmgr和kvm服务部署在同一台机器，所以这里本地信任。如果kvm部署在其他机器，那么这个是它的ip
[root@mp ~]# ssh-copy-id 192.168.157.99
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
The authenticity of host '192.168.157.99 (192.168.157.99)' can't be established.
ECDSA key fingerprint is SHA256:I20VCudXLSb+D75FPy0SjjexuAhmPkhN8hO4DZFjaT8.
ECDSA key fingerprint is MD5:f2:04:78:0f:b3:30:ae:12:66:05:85:97:e6:ab:80:15.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.157.99's password:
Number of key(s) added: 1
Now try logging into the machine, with: "ssh '192.168.157.99'"
and check to make sure that only the key(s) you wanted were added.
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
//端口转发
[root@mp ~]# ssh 192.168.157.99 -L localhost:8000:localhost:8000 -L localhost:6080:localhost:60
Last login: Fri Mar 15 02:23:10 2019 from 192.168.157.1
[root@mp ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 *:111 *:*
LISTEN 0 5 192.168.122.1:53 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 127.0.0.1:6080 *:*
LISTEN 0 128 127.0.0.1:8000 *:*
LISTEN 0 128 :::111 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 128 ::1:6080 :::*
LISTEN 0 128 ::1:8000 :::*
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
//配置nginx
[root@mp ~]# vim /etc/nginx/nginx.conf [root@kvm ~]# vim /etc/nginx/nginx.conf user nginx; worker_processes auto; error_log /var/log/nginx/error.log; pid /run/nginx.pid; include /usr/share/nginx/modules/*.conf; events { worker_connections 1024; } http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; sendfile on; tcp_nopush on; tcp_nodelay on; keepalive_timeout 65; types_hash_max_size 2048; include /etc/nginx/mime.types; default_type application/octet-stream; include /etc/nginx/conf.d/*.conf; server { listen 80; server_name localhost; include /etc/nginx/default.d/*.conf; location / { root html; index index.html index.htm; } error_page 404 /404.html; location = /40x.html { } error_page 500 502 503 504 /50x.html; location = /50x.html { } } }
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
[root@mp ~]# vim /etc/nginx/conf.d/webvirtmgr.conf server { listen 80 default_server; server_name $hostname; #access_log /var/log/nginx/webvirtmgr_access_log; location /static/ { root /var/www/webvirtmgr/webvirtmgr; expires max; } location / { proxy_pass http://127.0.0.1:8000; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-for $proxy_add_x_forwarded_for; proxy_set_header Host $host:$server_port; proxy_set_header X-Forwarded-Proto $remote_addr; proxy_connect_timeout 600; proxy_read_timeout 600; proxy_send_timeout 600; client_max_body_size 1024M; }
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
}
//确保bind绑定的是本机的8000端口
[root@mp ~]# vim /var/www/webvirtmgr/conf/gunicorn.conf.py
.....此处省略N行
bind = '0.0.0.0:8000' //确保此处绑定的是本机的8000端口，这个在nginx配置中定义了，被代理的端口
backlog = 2048
.....此处省略N行
- 1
- 2
- 3
- 4
- 5
//重启nginx
[root@mp ~]# systemctl start nginx
[root@mp ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:80 *:*
LISTEN 0 5 192.168.122.1:53 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 127.0.0.1:6080 *:*
LISTEN 0 128 127.0.0.1:8000 *:*
LISTEN 0 128 :::111 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 128 ::1:6080 :::*
LISTEN 0 128 ::1:8000 :::*
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
//设置supervisor
[root@mp ~]# vim /etc/supervisord.conf //.....此处省略上面的内容，在文件最后加上以下内容 [program:webvirtmgr] command=/usr/bin/python2 /var/www/webvirtmgr/manage.py run_gunicorn -c /var/www/webvirtmgr/conf/gunicorn.conf.py directory=/var/www/webvirtmgr autostart=true autorestart=true logfile=/var/log/supervisor/webvirtmgr.log log_stderr=true user=nginx [program:webvirtmgr-console] command=/usr/bin/python2 /var/www/webvirtmgr/console/webvirtmgr-console directory=/var/www/webvirtmgr autostart=true autorestart=true stdout_logfile=/var/log/supervisor/webvirtmgr-console.log redirect_stderr=true user=nginx
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
//启动supervisor并设置开机自动启动
[root@mp ~]# systemctl start supervisord
[root@mp ~]# systemctl enable supervisord
Created symlink from /etc/systemd/system/multi-user.target.wants/supervisord.service to /usr/lib/systemd/system/supervisord.service.
[root@mp ~]# systemctl status supervisord
● supervisord.service - Process Monitoring and Control Daemon
Loaded: loaded (/usr/lib/systemd/system/supervisord.service; enabled; vendor preset: disabled)
Active: active (running) since 五 2019-03-15 03:06:19 CST; 20s ago
Main PID: 3326 (supervisord)
CGroup: /system.slice/supervisord.service
└─3326 /usr/bin/python /usr/bin/supervisord -c /etc/supervisor...
3月 15 03:06:18 mp systemd[1]: Starting Process Monitoring and Control.....
3月 15 03:06:19 mp systemd[1]: Started Process Monitoring and Control ...n.
Hint: Some lines were ellipsized, use -l to show in full.
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
[root@mp ~]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:80 *:*
LISTEN 0 5 192.168.122.1:53 *:*
LISTEN 0 128 *:22 *:*
LISTEN 0 100 127.0.0.1:25 *:*
LISTEN 0 128 127.0.0.1:6080 *:*
LISTEN 0 128 127.0.0.1:8000 *:*
LISTEN 0 128 :::111 :::*
LISTEN 0 128 :::22 :::*
LISTEN 0 100 ::1:25 :::*
LISTEN 0 128 ::1:6080 :::*
LISTEN 0 128 ::1:8000 :::*
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
//配置nginx用户
//未创建nginx用户，所以用su命令赋予它交互式登录的权限 [root@mp ~]# su - nginx -s /bin/bash -bash-4.2$ ssh-keygen -t rsa //全部保持默认，回车即可，密码除外。 Generating public/private rsa key pair. Enter file in which to save the key (/var/lib/nginx/.ssh/id_rsa): Created directory '/var/lib/nginx/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /var/lib/nginx/.ssh/id_rsa. Your public key has been saved in /var/lib/nginx/.ssh/id_rsa.pub. The key fingerprint is: SHA256:86tvVfX2z7hqCHz/rqVUKMQPReWO26hNWlpZaZOTOgg nginx@mp The key's randomart image is: +---[RSA 2048]----+ | .o.. | | . . . .| | + ...| | . o +.+o| | .E . +.@..| | o+.o.X o.| | oo+@ oo.| | o@o+. o| | .+*.==+. | +----[SHA256]-----+ -bash-4.2$ touch ~/.ssh/config && echo -e "StrictHostKeyChecking=no\nUserKnownHostsFile=/dev/null" >> ~/.ssh/config -bash-4.2$ chmod 0600 ~/.ssh/config -bash-4.2$ ssh-copy-id root@192.168.157.99 /bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/var/lib/nginx/.ssh/id_rsa.pub" /bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys Warning: Permanently added '192.168.157.99' (ECDSA) to the list of known hosts. root@192.168.157.99's password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh 'root@192.168.157.99'" and check to make sure that only the key(s) you wanted were added. -bash-4.2$ exit 登出
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
[root@mp ~]# vim /etc/polkit-1/localauthority/50-local.d/50-libvirt-remote-access.pkla
[Remote libvirt SSH access]
Identity=unix-user:root
Action=org.libvirt.unix.manage
ResultAny=yes
ResultInactive=yes
ResultActive=yes
[root@mp ~]# chown -R root.root /etc/polkit-1/localauthority/50-local.d/50-libvirt-remote-access.pkla
[root@mp ~]# systemctl restart nginx
[root@mp ~]# systemctl restart libvirtd
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
7.3，KVM web界面管理
通过ip地址在浏览器上访问kvm，例如我这里就是：http://192.168.157.99
此处的用户为：root
密码为：执行python manage syncdb时设置的超级管理员密码
此处的Label要与下面的FQDN / IP一致！
点击上方的IP地址，不是点击Host：192.168.157.99
//创建存储
点击New Storage
进入存储
点击default
池路径 /var/lib/libvirt/images：磁盘镜像ISO文件存储的位置
//通过远程连接软件上传ISO镜像文件至存储目录/var/lib/libvirt/images/
[root@mp ~]# cd /var/lib/libvirt/images/
[root@mp images]# ll
总用量 3963904
-rw-r--r-- 1 root root 4059037696 3月 15 03:50 rhel-server-7.4-x86_64-dvd.iso
- 1
- 2
- 3
- 4
- 5
//在web界面查看ISO镜像文件是否存在
//创建系统安装镜像
//添加成功如下图
网络池配置
点击New Network
7.4，实例管理
实例（虚拟机的创建）
//设置在web上访问虚拟机的密码
//设置在web上访问虚拟机的密码
//启动虚拟机
//虚拟机安装
此步骤为虚拟机的安装步骤，不再阐述
8，所遇问题
8.1，故障一
第一次通过web访问kvm时可能会一直访问不了，一直转圈，而命令行界面一直报错(too many open files)
永久生效方法：
修改/etc/security/limits.conf，在文件底部添加：
* soft nofile 655360
* hard nofile 655360
星号代表全局， soft为软件，hard为硬件，nofile为这里指可打开文件数。
另外，要使limits.conf文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。
查看 /etc/pam.d/login 文件中有：
session required /lib/security/pam_limits.so
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
8.2，故障二
web界面配置完成后可能会出现以下错误界面
解决方法是安装novnc并通过novnc_server启动一个vnc
[root@mp ~]# ll /etc/rc.local lrwxrwxrwx. 1 root root 13 Aug 6 2018 /etc/rc.local -> rc.d/rc.local [root@mp ~]# ll /etc/rc.d/rc.local -rw-r--r-- 1 root root 513 Mar 11 22:35 /etc/rc.d/rc.local [root@mp ~]# chmod +x /etc/rc.d/rc.local [root@mp ~]# ll /etc/rc.d/rc.local -rwxr-xr-x 1 root root 513 Mar 11 22:35 /etc/rc.d/rc.local [root@mp ~]# vim /etc/rc.d/rc.local ......此处省略N行 # that this script will be executed during boot. touch /var/lock/subsys/local nohup novnc_server 172.16.12.128:5920 & [root@mp ~]# . /etc/rc.d/rc.local
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
错(too many open files)
永久生效方法：
修改/etc/security/limits.conf，在文件底部添加：
* soft nofile 655360
* hard nofile 655360
星号代表全局， soft为软件，hard为硬件，nofile为这里指可打开文件数。
另外，要使limits.conf文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。
查看 /etc/pam.d/login 文件中有：
session required /lib/security/pam_limits.so
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
8.2，故障二
web界面配置完成后可能会出现以下错误界面
[外链图片转存中…(img-eNWBquHG-1626761961409)]
解决方法是安装novnc并通过novnc_server启动一个vnc
[root@mp ~]# ll /etc/rc.local lrwxrwxrwx. 1 root root 13 Aug 6 2018 /etc/rc.local -> rc.d/rc.local [root@mp ~]# ll /etc/rc.d/rc.local -rw-r--r-- 1 root root 513 Mar 11 22:35 /etc/rc.d/rc.local [root@mp ~]# chmod +x /etc/rc.d/rc.local [root@mp ~]# ll /etc/rc.d/rc.local -rwxr-xr-x 1 root root 513 Mar 11 22:35 /etc/rc.d/rc.local [root@mp ~]# vim /etc/rc.d/rc.local ......此处省略N行 # that this script will be executed during boot. touch /var/lock/subsys/local nohup novnc_server 172.16.12.128:5920 & [root@mp ~]# . /etc/rc.d/rc.local
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
