PVE集群添加群晖SAN存储实战记录_pve创建共享存储

今天为公司的群晖存储扩容硬盘，平时群晖作为自动备份设备每晚会对PVE集群中跑的服务进行数据备份。一直想把群晖改成SAN存储来用今天刚好趁这个机会进行改造下。数据已进行提前备份。此架构于传统双机环境类似，本来打算搞ceph的无奈只有两台服务器。此环境只作为一般使用，不作为高性能使用。如需高性能请查看ceph存储且配置最少10Gbps网络或者40Gbps网络。

架构图：

：

---

PVE集群添加SAN存储一共分为以下几个步骤:

• 存储设备端操作

  • 创建裸存储池
  • 创建LUN
  • 创建ISCSI TARGET并选择创建的LUN
  • 允许多设备联机操作
  • 添加主机
  • 修改SAN存储网卡绑定

• PVE集群端操作

  • PVE集群管理器添加ISCSI存储
  • 启动多节点共享存储
  • 在ISCSI上创建LVM存储
  • 创建完成检查所有节点是否正常挂在SAN存储
  • 测试写入速度

---

贴图记录开始

1.存储设备端操作

• 检查存储磁盘情况，四块4TB希捷酷狼NAS硬盘，组建RAID10阵列并配置热备盘一块。
  

• 创建SAN存储，打开SAN存储管理器
  

• 选择新增ISCSI TARGET,名称根基情况自定义，IQN采用默认没修改。点下一步
  

• 创建LUN，如果没有提前创建在这里创建也可以。选择创建新LUN
  

• 填写LUN信息，此处可以看到我前面创建的裸存储池一共两个，我们选择4.7TB的。
  

• 确认所创建的信息，没问题后点完成。
  

• 查看最终SAN状态
  

• 修改SAN网卡的绑定，此处我选择网卡4为存储专用网络，没有业务流量只有ISCSI流量。
  

• 修改ISCSI允许多主机同时连接。
  

• 添加主机，此处需要添加节点一及节点二，有两种方式添加，可以从ISCSI创建的界面中直接创建识别到的主机。比如下图中因为节点与存储同在一个二层网络，会自动识别到。点击创建主机。
  

• 弹出创建向导，按照提示点击开始。
  

• 填写主机相关属性，名称根据节点可以随意填写。由于PVE是基于linux的虚拟化平台此处我们选择操作系统为linux。启动器填写节点的IQN号码，或者让系统自动发现。手动查看需要在PVE节点上选择shell控制台输入以下命令来查看：
  

root@GemdaleXian1:~# cat /etc/iscsi/initiatorname.iscsi 
## DO NOT EDIT OR REMOVE THIS FILE!
## If you remove this file, the iSCSI daemon will not start.
## If you change the InitiatorName, existing access control lists
## may reject this initiator.  The InitiatorName must be unique
## for each iSCSI initiator.  Do NOT duplicate iSCSI InitiatorNames.
InitiatorName=iqn.1993-08.org.debian:01:3a11693a6a62
#上面的一行为IQN号码需要在启动器中填写。
1
2
3
4
5
6
7
8

• 设置主机对lun的权限，此处需要选择读写。
  

• 同样的方式添加完成两个节点后，检查最终主机配置信息。
  
  至此，SAN存储端配置完成。下面需要在PVE集群中进行操作。

---

2.PVE集群端操作

• 在PVE数据中心中存储项创建ISCSI存储，ID中可以随便写，因为是通过ISCSI协议连接我选择为ISCSI，在portal中输入san存储的IP地址，输入正确后会自动发现目标的IQN号码。勾选启用以及直接使用LUN选项。
  
  
  
  添加完成后会在两个节点中都看到ISCI的存储，还不能直接使用。需要在LUN上创建LVM方可使用。
• 在LUN上创建LVM，在创建中选择LVM，此处基本存储选择ISCSI，基本就会出现刚才创建好的LUN，卷组可以随便起名字我为了识别选用了群晖的名称。内容选择磁盘映像和容器，这样虚拟机的磁盘和容器的卷都可以跑在这个存储上了。勾选共享和启用。
  
• 检查配置
  
  此处可以看到节点1和节点2都可以识别到NAS的存储了还可以直接点击查看相关信息
  

---

最后在进行测试，此处我们选择将一台虚拟机的硬盘从节点本机存储移动到NAS中。大小为100GB

由于环境使用的为单千兆网卡，千兆交换机，所以按照希捷酷狼的4TB单盘速度180MB/s一共四块RAID10，测试出来的写入速度为462MB/s左右。基本如果要求不高的话凑活用用还可以。生成环境建议最少都是10GB/s起。

至此PVE集群添加SAN存储实战完成。此次环境搭建只用于方案测试。如生产环境请使用高性能存储网络。

记录编写人：肖工
编写时间: 2024年1月15日