Proxmox VE 6.0管理指南——8. Proxmox VE存储_pvesm

Proxmox VE存储模型非常灵活。虚拟机映像可以存储在一个或多个本地存储中，也可以存储在共享存储中，例如NFS或iSCSI（NAS，SAN）。没有限制，您可以根据需要配置任意数量的存储池。您可以使用可用于Debian Linux的所有存储技术。

将VM存储在共享存储中的一个主要好处是能够实时迁移运行中的计算机而不会造成任何停机，因为集群中的所有节点都可以直接访问VM磁盘映像。无需复制VM映像数据，因此在这种情况下，实时迁移非常快。

存储库（软件包libpve-storage-perl）使用灵活的插件系统为所有存储类型提供通用接口。将来可以很容易地采用它来包含更多的存储类型。

基本上有两种不同的存储类型类别：

文件级存储

基于文件级的存储技术允许访问全功能（POSIX）文件系统。通常，它们比任何块级存储（见下文）更灵活，并允许您存储任何类型的内容。ZFS可能是最先进的系统，并且完全支持快照和克隆。

块级存储

允许存储大的原始图像。通常无法在此类存储类型上存储其他文件（ISO，备份等）。大多数现代块级存储实施均支持快照和克隆。RADOS和GlusterFS是分布式系统，将存储数据复制到不同的节点。

1：在基于文件的存储中，可以使用qcow2格式的快照。

2：可以在iSCSI存储顶部使用LVM。这样，您将获得共享的 LVM存储。

8.1.1。精简配置

许多存储以及Qemu图像格式qcow2支持精简配置。激活精简配置后，仅访客系统实际使用的块将被写入存储。

假设您创建了一个具有32GB硬盘的VM，并且在安装来宾系统OS之后，该VM的根文件系统包含3 GB的数据。在这种情况下，即使来宾VM看到32GB硬盘，也只能将3GB写入存储。通过这种方式，精简配置可让您创建大于当前可用存储块的磁盘映像。您可以为VM创建大型磁盘映像，并且在需要时将更多磁盘添加到存储中，而无需调整VM文件系统的大小。

具有“快照”功能的所有存储类型也都支持精简配置。

所有与Proxmox VE相关的存储配置都存储在/etc/pve/storage.cfg中的单个文本文件中。由于此文件位于/ etc / pve /中，因此它将自动分发到所有群集节点。因此，所有节点共享相同的存储配置。

共享存储配置对于共享存储非常有意义，因为可以从所有节点访问相同的“共享”存储。但是对于本地存储类型也很有用。在这种情况下，这样的本地存储在所有节点上都可用，但是在物理上是不同的，并且可以具有完全不同的内容。

8.2.1。储存池

每个存储池都有一个<type>，并由其<STORAGE_ID>唯一标识 。池配置如下所示：

<类型>：<STORAGE_ID>

        <属性> <值>

        <属性> <值>

        ...

所述<类型>：<STORAGE_ID>行启动池定义，然后接着属性的列表。大多数属性都有值，但是其中一些具有合理的默认值。在这种情况下，您可以忽略该值。

更具体地说，请在安装后查看默认存储配置。它包含一个名为local的特殊本地存储池，该存储池 引用目录/ var / lib / vz，并且始终可用。Proxmox VE安装程序会根据安装时选择的存储类型来创建其他存储条目。

默认存储配置（/etc/pve/storage.cfg）

目录：本地

        路径/ var / lib / vz

        内容iso，vztmpl，备份

 

＃基于LVM的安装上的默认映像存储

lvmthin：本地lvm

        瘦池数据

        vgname pve

        内容rootdir，图像

 

＃基于ZFS的安装上的默认映像存储

zfspool：本地zfs

        池池/数据

        疏

        内容映像，rootdir

8.2.2。通用存储属性

在不同的存储类型中，一些存储属性是通用的。

节点

可以使用/访问此存储的集群节点名称列表。可以使用此属性将存储访问限制为一组有限的节点。

内容

存储可以支持多种内容类型，例如虚拟磁盘映像，cdrom iso映像，容器模板或容器根目录。并非所有存储类型都支持所有内容类型。可以设置此属性以选择该存储的用途。

图片

KVM-Qemu VM映像。

根目录

允许存储容器数据。

vztmpl

容器模板。

后备

备份文件（vzdump）。

iso

ISO影像

片段

片段文件，例如来宾钩子脚本

共享

将存储标记为共享。

禁用

您可以使用此标志完全禁用存储。

最大文件

每个VM的最大备份文件数。使用0表示无限。

格式

默认图像格式（raw | qcow2 | vmdk）

我们使用特殊的符号来处理存储数据。从存储池分配数据时，它会返回这样的卷标识符。卷由<STORAGE_ID>标识，后跟与存储类型相关的卷名称，以冒号分隔。有效的<VOLUME_ID>如下所示：

本地：230 / example-image.raw

本地：iso / debian-501-amd64-netinst.iso

本地：vztmpl / debian-5.0-joomla_1.5.9-1_i386.tar.gz

iscsi-storage：0.0.2.scsi-14f504e46494c4500494b5042546d2d646744372d31616d61

要获取<VOLUME_ID>的文件系统路径，请使用：

pvesm路径<VOLUME_ID>

8.3.1。批量所有权

图像类型卷存在所有权关系。每个此类卷均由VM或Container拥有。例如，卷 local：230 / example-image.raw由VM 230拥有。大多数存储后端将此所有权信息编码为卷名称。

删除虚拟机或容器时，系统还会删除该虚拟机或容器所拥有的所有关联卷。

建议您熟悉存储池和卷标识符背后的概念，但在现实生活中，不必强迫您在命令行上执行任何这些低级操作。通常，卷的分配和删除是通过VM和Container管理工具完成的。

但是，有一个名为pvesm（“ Proxmox VE存储管理器”）的命令行工具可以执行常见的存储管理任务。

8.4.1。例子

添加存储池

pvesm添加<TYPE> <STORAGE_ID> <OPTIONS>

pvesm添加目录<STORAGE_ID> --path <PATH>

pvesm添加nfs <STORAGE_ID> --path <PATH> --server <SERVER> --export <EXPORT>

pvesm添加lvm <STORAGE_ID> --vgname <VGNAME>

pvesm add iscsi <STORAGE_ID> --portal <主机[：PORT]> --target <TARGET>

禁用存储池

pvesm设置<STORAGE_ID>-禁用1

启用存储池

pvesm设置<STORAGE_ID>-禁用0

更改/设置存储选项

pvesm设置<STORAGE_ID> <OPTIONS>

pvesm设置<STORAGE_ID>-共享1

pvesm设置本地-格式qcow2

pvesm设置<STORAGE_ID> --content iso

删除存储池。这不会删除任何数据，也不会断开连接或卸载任何内容。它只是删除存储配置。

pvesm删除<STORAGE_ID>

分配卷

pvesm分配<STORAGE_ID> <VMID> <名称> <大小> [--format <raw | qcow2>]

在本地存储中分配4G卷。如果您将空字符串作为<name>传递，则会自动生成名称

pvesm alloc local <VMID>''4G

免费卷

pvesm免费<VOLUME_ID>

列出存储状态

PVESM状态

列出存储内容

pvesm列表<STORAGE_ID> [--vmid <VMID>]

列出VMID分配的卷

pvesm列表<STORAGE_ID> --vmid <VMID>

列出ISO映像

pvesm列表<STORAGE_ID> --iso

列出容器模板

pvesm列表<STORAGE_ID> --vztmpl

显示卷的文件系统路径

pvesm路径<VOLUME_ID>

存储池类型：dir

Proxmox VE可以使用本地目录或本地安装的共​​享进行存储。目录是文件级存储，因此您可以存储任何内容类型，例如虚拟磁盘映像，容器，模板，ISO映像或备份文件。

该后端假定基础目录与POSIX兼容，但仅此而已。这意味着您不能在存储级别创建快照。但是，存在使用qcow2文件格式的VM映像的解决方法，因为该格式在内部支持快照。

我们使用预定义的目录布局将不同的内容类型存储到不同的子目录中。所有文件级存储后端均使用此布局。

8.5.1。组态

该后端支持所有常见的存储属性，并添加了一个名为path的附加属性来指定目录。这必须是绝对文件系统路径。

配置示例（/etc/pve/storage.cfg）

目录：备份

        路径/ mnt / backup

        内容备份

        最大文件7

上面的配置定义了一个称为backup的存储池。该池可用于每个VM 最多存储7个备份（maxfiles 7）。备份文件的真实路径是到/ mnt /备份/转储/ ...。

8.5.2。文件命名约定

该后端对VM映像使用定义明确的命名方案：

vm- <VMID>-<NAME>。<FORMAT>

<VMID>

这指定了所有者VM。

<NAME>

这可以是不带空格的任意名称（ascii）。后端默认使用disk- [N]，其中[N]被替换为整数以使名称唯一。

<格式>

指定图像格式（raw | qcow2 | vmdk）。

创建VM模板时，所有VM映像都被重命名以指示它们现在是只读的，并且可以用作克隆的基础映像：

base- <VMID>-<NAME>。<FORMAT>

8.5.3。储存功能

如上所述，大多数文件系统都不支持快照。要解决该问题，此后端能够使用 qcow2内部快照功能。

同样适用于克隆。后端使用qcow2基本映像功能来创建克隆。

8.5.4。例子

请使用以下命令在本地存储上分配一个4GB的映像：

＃pvesm分配本地100 vm-100-disk10.raw 4G

格式化'/var/lib/vz/images/100/vm-100-disk10.raw'，fmt = raw size = 4294967296

成功创建了'local：100 / vm-100-disk10.raw'

真实的文件系统路径显示为：

＃pvesm path local：100 / vm-100-disk10.raw

/var/lib/vz/images/100/vm-100-disk10.raw

您可以使用以下方法删除图像：

＃pvesm免费本地：100 / vm-100-disk10.raw

存储池类型：nfs

NFS后端基于目录后端，因此它共享大多数属性。目录布局和文件命名约定相同。主要优点是您可以直接配置NFS服务器属性，因此后端可以自动安装共享。无需修改/ etc / fstab。后端还可以测试服务器是否在线，并提供一种查询服务器以获取导出共享的方法。

8.6.1。组态

后端支持所有常见的存储属性，但始终设置共享标志除外。此外，以下属性用于配置NFS服务器：

服务器

服务器IP或DNS名称。为了避免DNS查找延迟，通常最好使用IP地址而不是DNS名称-除非您拥有非常可靠的DNS服务器，或者在本地/ etc / hosts文件中列出该服务器 。

出口

NFS导出路径（如pvesm nfsscan列出）。

您还可以设置NFS挂载选项：

路径

本地安装点（默认为/ mnt / pve / <STORAGE_ID> /）。

选项

NFS挂载选项（请参阅man nfs）。

配置示例（/etc/pve/storage.cfg）

nfs：iso模板

        路径/ mnt / pve / iso-templates

        服务器10.0.0.10

        导出/ space / iso-templates

        选项vers = 3，软

        含量iso，vztmpl

8.6.2。储存功能

NFS不支持快照，但是后端使用qcow2功能来实现快照和克隆。

8.6.3。例子

您可以通过以下方式获取导出的NFS共享的列表：

＃pvesm nfsscan <服务器>

存储池类型：cifs

CIFS后端扩展了目录后端，因此不需要手动设置CIFS安装。可以通过Proxmox VE API或WebUI直接添加这样的存储，它具有我们所有的后端优势，例如服务器心跳检查或舒适选择导出的共享。

8.7.1。组态

后端支持所有常见的存储属性，但始终设置共享标志除外。此外，还提供以下CIFS特殊属性：

服务器

服务器IP或DNS名称。需要。

分享

要使用的CIFS共享（通过pvesm cifsscan或WebUI 获取可用的共享）。需要。

用户名

CIFS存储的用户名。可选，默认为“ guest”。

密码

用户密码。可选的。它将保存在只有root可以读取的文件中（/etc/pve/priv/<STORAGE_ID>.cred）。

域

设置此存储的用户域（工作组）。可选的。

厌恶

SMB协议版本。可选，默认值为3。由于安全问题，不支持SMB1。

路径

本地挂载点。可选，默认为/ mnt / pve / <STORAGE_ID> /。

配置示例（/etc/pve/storage.cfg）

CIF：备份

        路径/ mnt / pve / backup

        服务器10.0.0.11

        共享VMData

        内容备份

        用户名anna

        smbversion 3

8.7.2。储存功能

CIFS不支持存储级别的快照。但是，如果您仍然想使用快照和克隆功能，则可以使用 qcow2备份文件。

8.7.3。例子

您可以通过以下方式获取导出的CIFS共享的列表：

＃pvesm cifsscan <服务器> [-用户名<用户名>] [-密码]

然后，您可以使用以下方式将此共享作为存储添加到整个Proxmox VE集群中：

＃pvesm add cifs <存储名> --server <服务器> --share <share> [-用户名<用户名>] [-密码]

存储池类型：glusterfs

GlusterFS是可扩展的网络文件系统。该系统采用模块化设计，在商用硬件上运行，并且可以低成本提供高可用性的企业存储。这样的系统能够扩展到几个PB，并且可以处理数千个客户端。

8.8.1。组态

后端支持所有常见的存储属性，并添加了以下特定于GlusterFS的选项：

服务器

GlusterFS volfile服务器IP或DNS名称。

服务器2

备份卷文件服务器IP或DNS名称。

体积

GlusterFS卷。

运输

GlusterFS传输：tcp，unix或rdma

配置示例（/etc/pve/storage.cfg）

glusterfs：Gluster

        服务器10.2.3.4

        服务器2 10.2.3.5

        体积glustervol

        内容图像，iso

8.8.2。文件命名约定

目录布局和文件命名约定从dir后端继承。

8.8.3。储存功能

该存储提供文件级接口，但不提供本机快照/克隆实现。

存储池类型：zfspool

通过此后端，您可以访问本地ZFS池（或此类池中的ZFS文件系统）。

8.9.1。组态

后端支持常见的存储属性content，nodes， disable和以下ZFS特定属性：

池子

选择ZFS池/文件系统。所有分配都在该池中完成。

块大小

设置ZFS块大小参数。

疏

使用ZFS精简配置。稀疏卷是保留量不等于卷大小的卷。

配置示例（/etc/pve/storage.cfg）

zfspool：vmdata

        泳池水箱/ vmdata

        内容rootdir，图像

        疏

8.9.2。文件命名约定

后端对VM映像使用以下命名方案：

vm- <VMID>-<NAME> //正常的VM映像

base- <VMID>-<NAME> //模板VM映像（只读）

subvol- <VMID>-<NAME> //子卷（容器的ZFS文件系统）

<VMID>

这指定了所有者VM。

<NAME>

这可以是不带空格的任意名称（ascii）。后端默认使用disk [N]，其中[N]被整数替换以使名称唯一。

8.9.3。储存功能

ZFS可能是有关快照和克隆的最高级的存储类型。后端将ZFS数据集用于VM映像（格式为 raw）和容器数据（格式为subvol）。ZFS属性是从父数据集继承的，因此您可以简单地在父数据集上设置默认值。

8.9.4。例子

建议创建一个额外的ZFS文件系统来存储您的VM映像：

＃zfs创建tank / vmdata

要在该新分配的文件系统上启用压缩：

＃zfs将压缩设置为on tank / vmdata

您可以使用以下方法获得可用的ZFS文件系统列表：

＃pvesm zfsscan

存储池类型：lvm

LVM是位于硬盘和分区之上的轻型软件层。它可用于将可用磁盘空间拆分为较小的逻辑卷。LVM在Linux上得到了广泛使用，使硬盘驱动器管理变得更加容易。

另一个用例是将LVM放在大iSCSI LUN上。这样，您可以轻松地管理该iSCSI LUN上的空间，否则将无法实现，因为iSCSI规范未定义用于空间分配的管理接口。

8.10.1。组态

LVM后端支持常见的存储属性content，nodes， disable和以下LVM特定属性：

vgname

LVM卷组名称。这必须指向现有的卷组。

基础

基本音量。在访问存储之前，该卷将自动激活。当LVM卷组位于远程iSCSI服务器上时，这最有用。

安全移除

删除LV时清零数据。删除卷时，这将确保删除所有数据。

saferemove_throughput

擦除吞吐量（cstream -t参数值）。

配置示例（/etc/pve/storage.cfg）

lvm：myspace

        vgname myspace

        内容rootdir，图像

8.10.2。文件命名约定

后端使用与ZFS池后端基本相同的命名约定。

vm- <VMID>-<NAME> //正常的VM映像

8.10.3。储存功能

LVM是典型的块存储，但是此后端不支持快照和克隆。不幸的是，普通的LVM快照效率很低，因为它们会在快照期间干扰整个卷组上的所有写入。

一大优势是您可以在共享存储（例如iSCSI LUN）的顶部使用它。后端本身实现适当的群集范围锁定。

 

8.10.4。例子

列出可用的卷组：

＃pvesm lvmscan

存储池类型：lvmthin

创建卷时，LVM通常会分配块。LVM精简池在写入时会分配块。这种行为称为精简配置，因为卷可能比物理可用空间大得多。

您可以使用普通的LVM命令行工具来管理和创建LVM精简池（有关详细信息，请参见man lvmthin）。假设您已经有一个名为pve的LVM卷组，以下命令将创建一个名为data的新LVM精简池（大小为100G）：

lvcreate -L 100G -n数据pve

lvconvert --type瘦池pve / data

8.11.1。组态

LVM瘦后端支持常见的存储属性content，nodes， disable和以下LVM特定属性：

vgname

LVM卷组名称。这必须指向现有的卷组。

瘦池

LVM精简池的名称。

配置示例（/etc/pve/storage.cfg）

lvmthin：本地lvm

        瘦池数据

        vgname pve

        内容rootdir，图像

8.11.2。文件命名约定

后端使用与ZFS池后端基本相同的命名约定。

vm- <VMID>-<NAME> //正常的VM映像

8.11.3。储存功能

LVM Thin是块存储，但完全支持快照和克隆。新卷将自动初始化为零。

必须提到的是，LVM精简池不能在多个节点之间共享，因此只能将它们用作本地存储。

8.11.4。例子

在卷组pve上列出可用的LVM精简池：

＃pvesm lvmthinscan pve

存储池类型：iscsi

iSCSI是一种广泛用于连接存储服务器的技术。几乎所有存储供应商都支持iSCSI。还提供了开源的iSCSI目标解决方案，例如基于Debian的OpenMediaVault。

要使用此后端，您需要安装 Open-iSCSI（open-iscsi）软件包。这是标准的Debian软件包，但默认情况下未安装该软件包以节省资源。

＃apt-get install open-iscsi

可以使用iscsiadm工具完成低级的iscsi管理任务。

8.12.1。组态

后端支持常见的存储属性content，nodes， disable和以下iSCSI特定属性：

门户网站

iSCSI门户（带有可选端口的IP或DNS名称）。

目标

iSCSI目标。

配置示例（/etc/pve/storage.cfg）

iscsi：mynas

     门户10.10.10.1

     目标iqn.2006-01.openfiler.com：tsn.dcb5aaaddd

     无内容

8.12.2。文件命名约定

iSCSI协议未定义用于分配或删除数据的接口。相反，这需要在目标端完成，并且是特定于供应商的。目标仅将它们导出为编号的LUN。因此，Proxmox VE iSCSI卷名称只是对LUN的一些信息进行编码，如Linux内核所见。

8.12.3。储存功能

iSCSI是块级类型的存储，不提供管理界面。因此，通常最好导出一个大LUN，然后在该LUN上设置LVM。然后，您可以使用LVM插件来管理该iSCSI LUN上的存储。

8.12.4。例子

扫描远程iSCSI门户，并返回可能目标的列表：

pvesm扫描iscsi <HOST [：PORT]>

存储池类型：iscsidirect

该后端提供的功能基本上与Open-iSCSI支持的功能相同，但是使用用户级库（软件包libiscsi2）来实现。

应该注意的是，这里没有内核驱动程序，因此可以将其视为性能优化。但这带来了一个缺点，即您无法在此类iSCSI LUN上使用LVM。因此，您需要在存储服务器端管理所有空间分配。

8.13.1。组态

用户模式iSCSI后端使用与Open-iSCSI后端相同的配置选项。

配置示例（/etc/pve/storage.cfg）

iscsidirect：快速存储

     门户10.10.10.1

     目标iqn.2006-01.openfiler.com：tsn.dcb5aaaddd

8.13.2。储存功能

 

存储池类型：rbd

Ceph是一个分布式对象存储和文件系统，旨在提供出色的性能，可靠性和可伸缩性。RADOS块设备实现了功能丰富的块级存储，您将获得以下优点：

• 精简配置
• 可调整大小的卷
• 分布式和冗余（分散在多个OSD上）
• 完整的快照和克隆功能
• 自我修复
• 没有单点故障
• 可扩展到EB级
• 可用的内核和用户空间实现

8.14.1。组态

该后端支持常见的存储属性node， disable，content和以下rbd特定属性：

monhost

监视器守护程序IP列表。可选，仅当Ceph未在PVE集群上运行时才需要。

池子

Ceph池名称。

用户名

RBD用户ID。可选，仅当Ceph未在PVE集群上运行时才需要。

krbd

通过krbd内核模块强制访问rados块设备。可选的。

外部Ceph集群的配置示例（/etc/pve/storage.cfg）

rbd：ceph-外部

        monhost 10.1.1.20 10.1.1.21 10.1.1.22

        池头颅外部

        内容图片

        用户名admin

8.14.2。认证方式

如果使用cephx身份验证，则需要将密钥文件从外部Ceph群集复制到Proxmox VE主机。

创建目录的/ etc / PVE /私法/ CEPH与

mkdir / etc / pve / priv / ceph

然后复制钥匙圈

scp <cephserver>：/ etc / ceph / ceph.client.admin.keyring /etc/pve/priv/ceph/<STORAGE_ID>.keyring

密钥环必须命名为与您的<STORAGE_ID>相匹配。复制密钥环通常需要root特权。

如果Ceph是本地安装在PVE群集上的，则可以通过pveceph或在GUI中自动完成 。

8.14.3。储存功能

的RBD后端是块级存储，并实现全快照和克隆功能。

存储池类型：cephfs

CephFS使用Ceph 存储集群来实现POSIX兼容的文件系统来存储其数据。由于CephFS建立在Ceph之上，因此它共享其大部分属性，其中包括冗余，可伸缩性，自我修复和高可用性。

要使用CephFS存储插件，您需要更新debian股票Ceph客户端。添加我们的Ceph存储库Ceph存储库。添加后，运行 apt更新和apt dist-upgrade周期来获取最新的软件包。

您需要确保没有配置其他Ceph存储库，否则安装将会失败，或者节点上会有混合的软件包版本，从而导致意外行为。

8.15.1。组态

该后端支持常见的存储属性node， disable，content和以下cephfs特定属性：

monhost

监视器守护程序地址列表。可选，仅当Ceph未在PVE集群上运行时才需要。

路径

本地挂载点。可选，默认为/ mnt / pve / <STORAGE_ID> /。

用户名

Ceph用户ID。可选，仅当Ceph未在默认为admin的PVE集群上运行时才需要。

子目录

要挂载的CephFS子目录。可选，默认为/。

保险丝

通过FUSE（而不是内核客户端）访问CephFS。可选，默认为0。

外部Ceph集群的配置示例（/etc/pve/storage.cfg）

cephfs：cephfs-外部

        monhost 10.1.1.20 10.1.1.21 10.1.1.22

        路径/ mnt / pve / cephfs-external

        内容备份

        用户名admin

8.15.2。认证方式

如果使用默认启用的cephx身份验证，则需要将密钥从外部Ceph群集复制到Proxmox VE主机。

创建目录的/ etc / PVE /私法/ CEPH与

mkdir / etc / pve / priv / ceph

然后复制秘密

scp cephfs.secret <代理服务器>：/ etc / pve / priv / ceph / <STORAGE_ID> .secret

机密必须命名为与您的<STORAGE_ID>相匹配。复制机密通常需要root特权。该文件只能包含私钥本身，而rbd后端也包含 [client.userid]部分。

通过发出以下命令可以从ceph集群（以ceph管理员身份）接收到机密。用配置为访问群集的实际客户端ID 替换用户 ID。有关进一步的ceph用户管理，请参阅Ceph文档 [ 19 ]。

ceph身份验证获取密钥client.userid> cephfs.secret

如果Ceph是本地安装在PVE群集上的，即使用pveceph进行设置，则此操作将自动完成。

8.15.3。储存功能

该cephfs后端是一个Ceph的集群之上的POSIX兼容的文件系统。

[1]快照虽然没有已知的错误，但由于缺乏测试，因此尚不能保证稳定。