AI大模型-使用 FastChat 部署ChatGLM3_fastchat chatglm3

FastChat介绍

FastChat是一个用于培训、服务和评估基于大型语言模型的聊天机器人的开放平台。
FastChat的核心功能包括：
1、最先进模型（如Vicuna、MT Bench）的培训和评估代码。
2、一个分布式多模型服务系统，让大模型具有web UI和与OpenAI兼容的RESTful API。

支持的模型

FastChat 支持很广范围的模型，包括 LLama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, MTP, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, xDAN-AI 等等

请参阅受支持型号的完整列表以及在此处文档添加新型号的说明。

下载chatGLM3模型

去modelscope搜索下载

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
1