【深度学习工作站】攒机_sd模型训练显卡交火

目录

参考

1. GPU

2. CPU

3.主板

3.1主板型号

3.1.1 AMD /Intel主板芯片组

3.1.2 LGA /Socket 主板上CPU插槽类型

3.2 其他参数

3.3 注意事项

4. 内存

5 固态硬盘

6 电源

7 散热

购置清单

---

参考

https://cloud.tencent.com/developer/article/1426481 （主要，强烈推荐）

https://timdettmers.com/2018/12/16/deep-learning-hardware-guide/

https://www.sohu.com/a/335230705_120197868

https://www.bilibili.com/video/av37032107?from=search&seid=13636450104871153489（装机）

 

工欲善其事，必先利其器。计划搭建一个4路GPU的深度学习工作站，需要对CPU和主板有所考虑。GPU先买了一块，剩下的根据需要再攒，详细的配置清单在文章最后。

1. GPU

1.1 GPU型号

最佳GPU：RTX 2070

避开GPU：任何Tesla; 任何Quadro卡; Titan RTX，Titan V，Titan XP

实惠但价格昂贵：RTX 2070经济

实惠且价格便宜：RTX 2060，GTX 1060（6GB）。

我有点钱：GTX 1060（6GB）

我几乎没有钱：GTX 1050 Ti（4GB）。或者：CPU（原型设计）+ AWS / TPU（训练）; 或者Colab。

我做Kaggle：RTX 2070

计算机视觉或机器翻译研究员：GTX 2080 Ti，如果您训练非常大的网络获得RTX Titans。

NLP研究员：RTX 2080 Ti使用16位。

我开始深入学习并且我认真对待它：从RTX 2070开始。在6-9个月之后购买更多RTX 2070并且您仍然希望投入更多时间进行深度学习。根据您接下来选择的区域（启动，Kaggle，研究，应用深度学习），销售GPU并在大约两年后购买更合适的东西。

 我想尝试深度学习，但我并不认真：GTX 1050 Ti（4或2GB）。这通常适合您的标准桌面，不需要新的PSU。如果它适合，不要购买新电脑

 

1.2 显存

如果想在研究中追求最高成绩：显存>=11 GB；

在研究中搜寻有趣新架构：显存>=8 GB；

其他研究：8GB；

Kaggle竞赛：4~8GB；

创业公司（1/2人）：8GB（取决于具体应用的模型大小）

公司：打造原型8GB，训练不小于11GB

参考：https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/

 

1.3 具体对比

1.3.1 性能对比

1.3.2 性价比分析：

购买显卡有两点需要注意：

（1）显卡的散热：如果购置多块显卡，堆叠在相邻PCl-e插槽，散热不好会导致性能下降。

（2）同一型号的显卡会有多个厂家的商品，价格差距体现在超频、灯光效果上，这是不需要的。

（3）涡轮风扇适合用在有机箱风道的机箱内。

 

2. CPU

CPU在深度学习中的主要作用是：（1）启动GPU函数调用（2）执行CPU函数

对于代码：（1）在训练时进行数据预处理：为避免CPU的性能成为训练模型的速度的瓶颈，具有高主频多内核的CPU可以显著提高性能，加快训练速度。（2）在训练前进行数据预处理：由于是预先进行数据预处理，在训练时的速度取决于GPU性能，与CPU无关，理论上CPU的性能不会成为瓶颈。

对于PCle通道，我理解为数据传输的快慢，所以我觉得PCle通道数应该尽可能的和显卡及内存条相匹配，这样才能让显卡“不缩水”。Tim认为在GPU数量少于4时，PCle通道对模型训练的影响并不是很大。

从下方的CPU天梯可以看到，虽然最新的CPU在单核主频有改善，但是因为核心数没有增多，所以i7-6950x和i9-9900K性能相近。同时，如果没有超频使用，CPU的损耗其实不大，所以买二手性能也不会有太大区别。但要注意，要选择正式版（不要QS/ES版）

ES版（测试版、在cpu-z和系统上不显型号）< QS版（正显、步进最新版）< 正式版

 

3.主板

在确定显卡和CPU的型号和数量后，就可以确定相应的主板。

3.1主板型号

3.1.1 AMD /Intel主板芯片组

区别两大芯片厂商和对应的系列，以下以Intel为例，在选定CPU后，可以查到支持该CPU的主板系列，

B系列（如B360、B250）属于入门级产品，不具备超频和多卡互联的功能，同时接口及插槽数量也相对要少一些。

H系列（如H310）比B系列略微高端一些，可以支持多卡互联，接口及插槽数量有所增长。

Z系列（如Z390、Z370）除了具备H系列的特点支持，还能够对CPU进行超频，并且接口和插槽数量也非常丰富。

X系列（如X99、X299）可支持Intel至尊系列高端处理器，同时具备Z系列的各项特点。

C系列，Intel服务器多路CPU主板，可以支持两个CPU在一张主板上

# X99\Z97全部支持NVMe

3.1.2 LGA /Socket 主板上CPU插槽类型

 

3.2 其他参数

（1）内存插槽、CPU插槽、多显卡技术：后两个在确定CPU和显卡后就能确定，内存尽量大

（2）显卡交火：针对游戏，对深度学习没有帮助。

（3）PCIE x 16扩展插槽：很重要，会影响CPU的运行速度

 

3.3 注意事项

要想GPU发挥性能最佳，GPU个数不同，选择主板的插槽位置也不同。

 

4. 内存

1、RAM频率对深度学习性能方面没有明显的提升。

2、在安装内存条的时候需要阅读主板说明书，基本每个主板都会给出推荐的插法，看好插槽所在的通道，一定不要插错了。

3、应该配备与GPU显存匹配的内存容量。

 

5 固态硬盘

配置时记得看主板的存储接口是否支持，目前固态硬盘（SSD）常用的接口主要有3种：

1、SATA3 - 外形尺寸是2.5寸硬盘的标准尺寸，与2.5寸机械硬盘可以互换。

2、mSATA - 接口尺寸与笔记本内置无线网卡相同，不过mSATA SSD的外形尺寸比无线网卡更大。

3、M.2 - 初期称为NGFF接口，是近两年新出的接口，为专门为超小尺寸而设计的，使用PCI-E通道，体积更小，速度更快。M.2接口固态硬盘又分为：SATA和PCI-E两种，虽说长得一模一样，但性能却是差之千里。M.2有两种接口定义：Socket 2和Socket 3。Socket 2支持SATA或PCIe ×2通道的SSD，Socket 3专为高性能存储设计，支持PCIe ×4通道。在购买SSD时一定要确认是否走PCIe ×4通道，这样才性能最佳。

# 如果购买支持NVME协议的SSD，需确定主板是否支持

# 有M.2口不一定支持NVME协议

 

6 电源

因为一个主机最终要的功耗组件是GPU和CPU，我们可以通过将CPU和GPU的功耗累加，并且附加其他组件大约额外10％W来计算所需的功率。另外，买一个能效等级高的电源，特别是当你需要连很多GPU并且可能运行很长时间的时候。

 

7 散热

CPU-FAN和SYS-FAN，CPU-FAN要根据CPU型号来选择。SYS-FAN，就是机箱风扇，要根据机箱上的风扇口大小和主板上的SYS-FAN口个数决定。

 

购置清单

踩坑规避：

1.谨慎考虑二手产品。一个原因是质量难以保证，和抽奖性质一样；另一个原因是二手产品通常不能退换，如果买错或是想换，没法后悔；最后是，二手产品很难做到配件齐全，这就需要你自己去选购螺丝、线之类的配件。

2.买新不买旧。CPU买的是二手i7-6950X，相比i9-9900K散片32xx，i9-9900K虽然核数较少，但主频更高，整体性能会稍优一些，价格也更便宜。如果不是想搭建工作站，或者说GPU数量较少，完全推荐i9-9900K/i9-9900KF。