探秘：一个GPU需要多少个光模块?_gpu光模块

市场上对于光模块与GPU数量的比例存在不同的版本，各个版本的数字并不一致，主要是因为不同组网架构下所需的光模块数量不一样。

1、网卡型号

主要包括两种类型的网卡，ConnectX-6（200Gb/s，主要配合A100使用）主要使用的光模块有MMA1T00-HS（200G Infiniband HDR QSFP56 SR4 PAM4 850nm 100m）和ConnectX-7（400Gb/s，主要与H100配套使用）。

2、交换机型号

下一代ConnectX-8 800Gb/s交换机型号主要包括两种类型的交换机，QM9700系列（32端口OSFP（2*400Gb/s），400Gb/s传输速率下共有64个通道，总计51.2 Tb/s吞吐率）和QM8700系列（40端口QSFP56，总共40个200Gb/s通道，总计16Tb/s吞吐率）。

3、单元数量（可扩展单元SU）

单元数量影响交换架构的层次，单元数量较少时仅采用两层架构，单元数量较多时采用三层架构。

H100 SuperPOD：每个单元由32个节点（DGX H100服务器）组成，最多支持4个单元组成集群，采用两层交换架构。

A100 SuperPOD：每个单元包含20个节点（DGX A100服务器），最多支持7个单元组成集群，超过5个单元需要三层交换架构。

小结：

（1）A100+ConnectX6+QM8700三层网络：1:6比例，均采用200G QSFP56光模块

（2）A100+ConnectX6+QM9700二层网络：1:0.75 800G OSFP光模块+1:1 200G QSFP56光模块

（3）H100+ConnectX7+QM9700二层网络：1:1.5 800G OSFP光模块+1:1 400G OSFP光模块

（4）H100+ConnectX8（尚未发布）+QM9700三层网络：1:6比例，均采用800G OSFP收发器

假设2023年H100+A100出货量为30万+90万，将产生315万200G QSP56+30万400G OSFP+78.75万800G OSFP需求，AI市场增量空间为13.8亿美元。

假设2024年H100+A100出货量为150万+150万，将产生75万片200G QSFP56+75万片400G OSFP+675万片800G OSFP需求，AI市场增量空间为49.7亿美元，约等于2021年数字直通光模块市场规模。

下面是针对上述每种场景的详细测量过程。

场景一：A100+ConnectX6+QM8700三层网络。

A100共有8个计算接口，左侧4个，右侧4个（如下图）。目前A100出货主要搭配ConnectX6进行外部通信，接口速率为200Gb/s。

在第一层架构中，每个节点有8个接口，每个节点连接8个叶型交换机，每20个节点组成一个单元（SU），因此第一层共需要8*SU叶子交换机、8*SU*20根线缆，以及2*8*SU*20个200G光模块。

在第二层架构中，由于无阻塞架构，上行速率等于下行速率。第一层总单向传输速率为200G*线缆数量。由于第二层也采用单缆200G传输速率，因此第二层的线缆数量应与第一层相同，需要8*SU*20线缆（Cable）和2*8*SU*20

200G收发器。所需的脊型交换机数量是电缆数量除以叶交换机数量，即（8*SU*20）/（8*SU）脊型交换机。但当叶型交换机的数量不够多时，叶型与脊型之间可以建立两个以上的连接，以节省脊型交换机的数量（只要不超过40个接口的限制）。因此，当单元数分别为1/2/4/5时，所需脊型交换机数量为4/10/20/20，所需光模块数量分别为320/640/1280/1600。脊型交换机数量不会按相同比例增加，但光模块数量会按相同比例增加。

当单元数量达到7时，需要第三层架构，由于是非阻塞架构，因此第三层架构所需的电缆数量与第二层的数量相同。

推荐配置SuperPOD：7台单位进行组网，需要增加第三层架构并增加核心交换机，各种不同数量的单位每层交换机数量、连接电缆数量如图所示。

一个GPU需要多少个光模块?

140台服务器，共140*8=1120个A100，共56+56+28=140台交换机(QM8790)，1120+1120+1120=3360根线缆，3360*2=6720个200G QSFP56光模块，之间的映射A100和200G QSFP56光模块为1120/6720=1:6。

场景二：A100+ConnectX6+QM9700二层网络

目前推荐配置中还没有该方案，但未来越来越多的A100可能会选择QM9700组网，这会减少光模块的使用数量，但带来800G OSFP光模块需求。最大的区别在于，第一层连接由8根外部200G电缆转换为QSFP转OSFP接口，有2个和1对4。

第一层：对于7台单元，140台服务器有140*8=1120个接口，总共1120/4=280根1-tow-4线缆对外连接，得到280个800G OSFP和1120个200G OSFP56光口模块要求。总共需要12个QM9700交换机。

第二层：仅800G连接，需要280*2=560个800G OSFP收发器，需要9台QM9700交换机。

因此，140台服务器和1120台A100需要12+9=21台交换机、560+280=840个800G OSFP光模块和1120个200G QSFP56光模块。

A100与800G OSFP光模块的映射为1120:840=1:0.75，A100与200G QSFP56光模块的映射为1:1

场景三：H100+ConnectX7+QM9700二层网络

H100设计的特别之处在于，虽然网卡是8个GPU，带有8个400G网卡，但接口合并为4个800G接口，这将带来大量800G OSFP光模块需求。

在第一层，根据推荐配置，建议在服务器接口连接1个【2*400G】800G

OSFP光模块：MMA4Z00-NS(800Gb/s Twin-port OSFP 2x400G SR8 PAM4 850nm 100m DOM Dual MPO-12 MMF）或MMS4X00-NM（800Gb/s双端口OSFP 2x400G PAM4 1310nm 500m DOM双MTP/MPO-12 MMF），通过双端口。），两条光纤电缆(MPO)通过双端口连接并插入两个交换机中的每一个。

那么对于第一层而言，一个单元包含32个服务器，一个服务器连接2*4=8个交换机，SuperPOD包括4个单元，第一层总共需要连接4*8=32个叶子交换机。

因此，建议需要预留一个节点用于管理目的（UFM），由于对光模块的使用影响有限，只按照4台128台服务器简略计算。

第一层共4*128=512个800G

OSFP光模块，2*4*128=1024个400G OSFP光模块：MMA4Z00-NS400（400G OSFP SR4 PAM4 850nm 30m on OM3/50m on OM4 MTP/MPO-12)或NVIDIA MMS4X00-NS400(400G OSFP DR4 PAM4 1310nm MTP/MPO-12 500m)。

第二层交换机之间采用800G光模块直连，向下连接一台叶型交换机，单向速率为32*400G。为了保证上下行速率相同，因此上行连接需要16*800G单向速率，需要16台脊型交换机，总共4*8*16*2=1024个800G光模块。

因此，在该架构下，两层总共需要512+1024=1536个800G

OSFP光模块和1024个400G OSFP光模块，总共4*32*8=1024个H100。因此，GPU与800G OSFP光模块的映射关系为1024/1536→1:1.5，GPU与400G OSFP光模块的映射关系为1024/1024→1:1。

场景四：H100+ConnectX8（尚未发布）+QM9700三层网络

假设H100升级到800G网卡后，外部接口应该从4个OSFP接口升级到8个OSFP接口。每层之间的连接均采用800G连接，整个网络架构与第一种场景类似，只是将200G光模块更换为800G光模块。因此，该架构中GPU与光模块的比例也是1:6。

综上，将四种场景整理成下表。

假设2023年H100+A100出货量为30万+90万，将产生315万片200G+30万片400G+78.75万片800G OSFP需求。

假设2024年H100+A100出货量为150万+150万，将产生75万片200G+75万片400G+675万片800G OSFP需求。

*A100一半使用200G交换机，一半使用400G交换机。

**H100一半使用400G交换机，一半使用800G交换机。

上述对A100 H100数量的估计仅是假设，并不代表未来的预期。

按照2023年平均价格1美元/GB、2024年0.85美元/GB简单计算，预计AI将为光模块带来13.8/49.7亿美元的AI增量市场空间。