RAG项目第一集：大模型的本地加载和提供API接口_大模型 封装 接口

对于这个项目来说，因为考虑到数据不能出公司，所以不能用OPENAI的模型和接口，选择开源的大模型成了首要的问题，可根据显卡等配置的具体情况，选择不同参数的模型，笔者测试了llama2的13B模型，感觉不错，但是FASTCHAT不支持4Bite量化，所以改成了阿里的通义千问7B，也可以更好的理解中文。

1，去huggingface下载相关模型，模型地址：huggingface.co/Qwen/Qwen-7… ，并保存到本地。

2，conda新建虚拟环境

js
复制代码
$conda create -n fastchat python=3.11
1
2
3

系统运行后，选择y安装相关的包依赖。 提示成功创建fastchat环境内后，运行命令，

js
复制代码
$conda activate fastchat
1
2
3

激活虚拟坏境

3，安装FASTCHAT 命令为

js
复制代码
pip3 install fschat[model_worker,webui]
1
2
3

4，在fastchat环境下，运行命令

js
复制代码
python3 -m fastchat.serve.controller` #启动控制器
1
2
3

重新激活一个fastchat环境，运行命令

js
复制代码
python3 -m fastchat.serve.model_worker --load-8bit --model-name 模型名称--model-path /模型本地位置/ #启动模型服务
1
2
3

（如果显存大，可不用8bit启动，模型推理效果更好） 重新激活一个fastchat环境，运行命令

js
复制代码
python3 -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000     #开启对外API服务，端口是8000
1
2
3

注意：以上3个命令要开启3个命令窗口，激活3遍虚拟环境，要保持3个窗口同时运行。

5，检查

最后可以通过

js
复制代码
curl http://localhost:8000/v1/models
1
2
3

检查API接口是否可用，如有返回值，说明接口可用。

---

这个项目代码我已经开源到GitHub上了，可以点这个链接，直接下载整个项目代码： github.com/davidhandso…

以上，大模型的本地加载和提供API接口已经完成了，接下来就是embedding 数据库了，请看RAG项目第二集：知识图谱embeddings向量数据库。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。