PVE连接 TrueNAS iSCSI存储实现本地无盘化_pve iscsi

一.基础环境

TureNas 12.0 ^[1]

4c16G
50G+300G+300G 磁盘
IP1：192.168.42.98(千兆)
IP2：172.16.0.2（万兆）
50G磁盘空间用来运行Turenas 12.0 版本实例
两块300的准备组raid1, 用作ISSCI共享存储
IP2地址为Turenas与PVE通讯IP，选择万兆网卡，理论速度达到700M/s以上

PVE 7.0 ^[2]

4c8G
100G磁盘
IP1：192.168.42.99(千兆)
IP2：172.16.0.3（万兆）
100G磁盘空间用来运行PVE 7.0 版本实例

====================================================================

二.环境安装

TureNas & PVE环境搭建我博客相关专栏中都有，本文不在赘述，详情请跳转

TureNas试玩 ^[1]

Proxmox集群部署 ^[2]

====================================================================

三.TureNas设置

1. 创建池
存储>池>添加

2. 添加 Zvol
存储 > 池 > 选择创建好的池 > 菜单 > 添加Zvol

3. 配置 ISCSI 共享服务
① 修改 TargetGlobalconfiguration

② 修改Partals 地址和端口

③ InitiationGroups 勾选允许所有启动器即可

④ 添加 目标

⑤ 添加 Extents

⑥ 添加 Associated Targets 将之前的 “目标” 和 “ Extents ” 关联起来

⑦ 返回 第一项 TargetGlobalconfiguration 保存-启用服务即可

====================================================================

四.PVE设置

在PVE端挂载ISCSI存储有两种方法

1. 一种是直接shell iscsiadm命令挂载，然后添加lvm
2. 另一种是在web界面挂载，然后添加lvm，这种方法不适合 CHIP用户认证，之所以上文没有创建认证，就是为了方便演示两种方法，文末会拓展添加用户认证相关内容。

方法一

1. 来到 pve 端，首先使用 shell 命令发现下 Iscsi 服务，看是否开启正常，如下图

iscsiadm -m discovery -t st -p 172.16.0.2:3260
1

如果没有发现就检查Turenas的服务情况，检查网络是否正常

2. 连接 iscsi

iscsiadm -m node -T iqn.2005-10.org.freenas.ctl:pveget1   -l  # 连接
iscsiadm -m node -o update -n node.startup -v automatic  # 设置开机已启动

操作回显如下
root@test01:~#     iscsiadm -m node -T iqn.2005-10.org.freenas.ctl:pveget1   -l
Logging in to [iface: default, target: iqn.2005-10.org.freenas.ctl:pveget1, portal: 172.16.0.2,3260]
Login to [iface: default, target: iqn.2005-10.org.freenas.ctl:pveget1, portal: 172.16.0.2,3260] successful.
root@test01:~#    iscsiadm -m node -o update -n node.startup -v automatic
1
2
3
4
5
6
7
8

3. 使用 fdisk -l 查看，可以发现多了一块设备
   

4. 对新加的盘进行分区
   

5. 添加LVM
   ①创建pv
   
   ②创建vg
   
   至此，挂载完毕

6. 到Pve上添加存储
   

7. 添加成功就会多处一块TrueNas的存储设备，可以直接使用了

8. TrueNas端 可以看到网卡流量也有对应的输出

方法二

1. 直接在存储中添加 iSCSI
   

2. 添加 iscsi 信息
   

3. 添加lvm 即可
   

4. 添加成功
   

四.拓展

ISCSI CHIP用户认证，如何添加

上文有提到 ISCSI CHIP用户认证 ，相当于给 iscsi 添加用户和 密码认证，那么改如何添加呢

1. 在TrueNas中 共享 > ISCSI > Authorized Access > 添加
   
2. 提交相关群组ID，用户名 密码 ，即可创建用户
   
3. 除此之外，还应该在目标中添加群组信息和认证方法。之前我们创建过目标，所以进行修改一下
   

4. 在PVE 端只能使用 iscsiadm 命令挂载

首先查看发现
iscsiadm -m discovery -t st -p 172.16.0.2 --discover
172.16.0.2:3260,1 iqn.2005-10.org.abcd.ctl:pveget1 # 回显，发现了设备


iscsiadm -m node -T  iqn.2005-10.org.abcd.ctl:pveget1   --op update --name node.session.auth.username --value=用户admin    #添加用户
iscsiadm -m node -T iqn.2005-10.org.abcd.ctl:pveget1 --op update --name node.session.auth.password --value=密码123456  #添加密码
iscsiadm -m node -T iqn.2005-10.org.abcd.ctl:pveget1 -l  #登陆
iscsiadm -m node -o update -n node.startup -v automatic  #设置开机启动
1
2
3
4
5
6
7
8
9

5. 尝试添加ext4格式，这样就可以放镜像和其他更多类型的文件

fdisk /dev/sdc
n
p
...
w
以上是分区步骤省略

mkfs.ext4 /dev/sdc1  # 把分好的区进行格式化

mkdir data && mount /dev/sdc1 /data/ 进行挂载
1
2
3
4
5
6
7
8
9
10

6. 在PVE web端进行添加 目录