从零开始的ChatGLM教程（一）_chatglm 思维链

写在前面

本文中所有的内容仅供参考，本人并不对任何产生的后续问题负任何责任。

ChatGPT的爆火出圈点燃了人们对人工智能的兴趣，前段时间清华开源了自己的模型ChatGLM-6B，得益于量化技术使其能够运行在家用消费级显卡上，极大地降低了门槛，使本地部署成为了可能。本篇文章将真正意义上的从头教学，从装机开始教你组建自己的机器并训练自己的模型。特别鸣谢：秋葉aaaki 以及所有制作一键包的人们，在本教程中使用 秋葉aaaki 的一键包进行部署

硬件部分

现在你可能有了那么一点时间，口袋里正好也有了一点点零花钱，而你又恰好对本地部署感兴趣，那么你需要一台合适而又廉价的机器来进行使用以及训练模型。在本篇教程中我不会推荐你具体去买哪家的什么配件，因为我并没有收厂家的广告费，一切靠你自己或者图吧老哥。那么事不宜迟，立刻开始：

ChatGLM（以及其他语言模型）并不强制性的需要你使用GPU进行运算，如果你的电脑大于32G，而你又没有心仪的显卡选择，你可以考虑试试使用CPU进行运算，据说速度会慢，但好处是在这篇文章编写的时候，内存可比显存便宜多了。

如果你决定使用CPU进行运算，那么我推荐使用intel9代及以上的CPU（AMD的U我没有试过，等一个有缘人的反馈），对于CPU运算来说，CPU的好坏决定了运算的速度。

如果你决定使用GPU进行运算，那么你会有很多选择，最新的量化技术允许GLM运行在大于4G显存的显卡上，但我认为选择一个显存容量高于12G的显卡会极大地提升你的用户体验。如果你的预算恰好非常充裕，那么你可以选择3090及以上的高端游戏显卡作为你的训练卡，这类显卡往往有着非常好的运算能力。但如果你和我一样预算只能用捉襟见肘来形容的话，那么你不妨可以参考我的解决方案：使用一张老旧的专业卡。

主流的老旧专业卡包括K80，M40（24G版）（下文简称M40），P40，P100等，其中P100具有半精度浮点计算能力，这可以使它的训练或推理速度更快，不过它的显存只有16G，还请自行取舍。而K80虽然也有24G显存，但是它基于过于老旧的Kepler2.0架构，与GT720相同，基于性价比等原因并不推荐使用。M40与P40这两张卡都有着24G显存，其中M40基于Maxwell架构，单精度浮点能力为7Teraflops，双精度浮点能力为0.2Teraflops。P40基于Pascal架构，单精度浮点能力为12Teraflops，在训练与推理上比M40更快，但由于在我写这篇文章的时候市场中P40的价格已经涨到1000+了，而M40价格是400+。因此我选择了M40进行机器的搭建。

至此，用于推理及训练模型的核心部件已经选择完毕，剩下的部分请依靠自己的钱包的能力自行搭配，在下一篇中我将详细说明显卡的注意事项与配置方式。

作为本章的最后，我在此附上我的配置仅供参考：

主板：Z690A（850）

CPU：i3-10100（560）

显卡：M40（470）

内存：16g（160）

硬盘：512g（180）

电源：650w（300）

共计：2520 元