双N卡完美运行ChatGLM3_chatglm3双卡

写在前面

之前ChatGLM推出3了，奈何自身条件不允许，CPU运行半天出不来结果，索性放弃。幸好这次拿到了朋友的机器，虽然显存不高，但是双卡共16G也满足运行的最低要求，于是乎准备研究一波，尝试双卡部署一下。

之前已经装好了环境，参考：使用Tesla P4 双卡配置torch机器学习环境

环境配置

关于ChatGLM3不过多介绍了，支持工具回调，支持代码执行，是我挺喜欢的一个开源模型，这次直接给出了技术文档 https://lslfd0slxc.feishu.cn/wiki/HIj5wVxGqiUg3rkbQ1OcVEe5n9g（文档内容不做截图因为有水印）

先下载源码

git clone https://github.com/THUDM/ChatGLM3.git
1

然后装一下requirements.txt，因为之前已经装好了torch，所以注释掉

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
1

太慢了，加上国内源

随后，基础环境装好了。

ChatGLM3给了多种运行方式，其中包含基础demo（basic_demo目录下）和综合demo（包含工具执行，代码解释的综合性demo，在composite_demo）

这里我先以方便双卡运行为主，运行basic_demo

关于综合Demo可以参考，本篇不提及：https://github.com/THUDM/ChatGLM3/blob/main/composite_demo/README.md

题外话：运行web_demo.py发现丢了个mdtex2html的库，装一下