免费部署开源大模型 ChatGLM-6B_chatglm3-6b
赞
踩
参考：【大模型-第一篇】在阿里云上部署ChatGLM3-CSDN博客
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。
虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！
ChatGLM-6B 减少显存与内存占用
全量模型运行加载 GPU运行模式下需要13GB显存+14G内存，CPU运行模式下需要28GB内存，如果你电脑没这么大显存或者内存，可以通过加载量化模型减少显存与内存占用
参考：使用 CPU 本地安装部署运行 ChatGLM-6B 获得自己的专属 AI 猫娘 — 秋风于渭水 (tjsky.net)
硬件与软件准备
- 随便一个CPU（差不多就行，毕竟我看网友还有用赛扬N6210这种东西跑的）
- 至少32GB的内存（因为模型运行大概需要23~25GB内存）
- 大于30GB硬盘可用空间
- 最好有SSD（最开始要将模型读到内存中，模型本体大概就需要占用11GB内存，使用HDD会经历一个漫长的启动过程）
参考：https://blog.csdn.net/qq_41773806/article/details/134189261
1、在阿里云上申请注册及登录并完成认证
2、登录阿里云 免费试用 页面 https://free.aliyun.com/?product=1395&crowd=personal
3、 选择试用产品：
选择 立即试用
进入工作空间 宣交互式建模（DSW）
输入实例名称，就叫它 550W 吧~，GPU 选择 A10 或者 V100 都行，这俩是支持资源包抵扣的，其他的不支持，这里注意！V100 性能更好，但我们测试使用没必要，就选 A10 就行，A10 显卡每小时消耗6.991计算时，如果不关机持续使用大概可以使用30天。
我打开的时候只有V100 了 支持资源包抵扣
没选数据集 进入选择镜像
选择创建实例 点击下一步 耐心等待实例创建。
二、部署GLM3
部署GLM3，包括其它类似的开源大模型，步骤都是差不多的，毕竟这些高校/大厂都帮大家封装好了，所以并没有特别繁琐的步骤。
在我看来，主要就是三步：1、环境搭建；2、git下载GLM3（如果要本地化部署，还要下载模型）；3、修改路径并启用
1、环境搭建
因为使用的是阿里云的PAI，默认已经帮我们配置好了环境变量、网络，装好了python甚至pytorch、tensorflow等等，点击打开后进入
点击 terminal进入：
2、git下载GLM3
2.1 git clone下载GLM3仓库
2.1.1首先git clone下载GLM3仓库，并切换到这个文件夹下
git clone https://github.com/THUDM/ChatGLM3
- Transformers是一个自然语言处理（NLP）模型，由Google提出并广泛应用于各种NLP任务中，如机器翻译、文本分类、问答系统等。Transformers模型采用了一种称为“自注意力机制”（self-attention mechanism）的技术，可以有效地处理长序列的输入数据，并且并行计算能力强，因此在大规模数据集上训练效果优异。
- TransFlow则是一种基于流（flow）的编程模型和执行引擎，旨在简化分布式数据流应用程序的开发和部署。TransFlow通过将数据流编程模型和流处理引擎相结合，提供了一种高效、灵活和易用的方式来处理大规模数据流。
2.1.2 然后使用 pip 安装依赖：
cd ChatGLM3
pip install --upgrade pytorch-lightning
pip install -r requirements.txt
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv
pip install virtualenv
virtualenv venv
进入：source venv/bin/activate
停止：deactivate （参考）
pip install -r requirements.txt
安装完成：
pip install --upgrade pip
3、修改变量路径并启用
有2个文件需要修改变量路径，一个是/mnt/workspace/ChatGLM3/basic_demo下的“web_demo.py”，另一个是chatgm3-6b下的“config.json”，都是把默认的“THUDM/”修改为“/mnt/workspace/”
这里的修改，可以使用vim，也可以直接左边栏双击打开文件修改
pip install mdtex2html
启动后 问了一下 貌似卡住了。。。
待研究。。。
修改 cli_demo.py
python cli_demo.py
当前 GPU 没有被使用 还是使用的CPU
