基于FastChat构建的OpenAPI访问有问题_fastchat.serve.openai_api_server

前言

   Fastchat是一个开源的(https://github.com/lm-sys/FastChat)大模型部署框架，能提供兼容OpenAI的APIs给web应用远程访问，也自带Gradio组件直接提供Web UI服务（不过现在一般都用Streamlit前端来构建webui）。

   本文主要讨论如何使用fastchat来构建APIs并进行测试和问题汇总。

步骤

    第一步安装： pip install fschat 

     我用的fastchat版本是0.2.35   openai版本为1.9.0

   第二步启动整个fastchat的控制程序controller

python3 -m fastchat.serve.controller --host 0.0.0.0 --port 21001

第三步构建model_worker将本地模型加载进来，并注册到controller。这里面两个小细节：1)本电脑使用的是CPU加载推理，所以用到了参数--device cpu 缺省的话会使用Nvidia gpu加载；2）由于本电脑内存条只有16G，为了节省内存资源，使用了8bit压缩格式： --load-8bit

python3 -m fastchat.serve.model_worker --model-name 'Qwen-1_8B-Chat' --model-path /work/rag/HuggingFace-Download-Accelerator/Qwen-1_8B-Chat --device cpu --load-8bit

第四步 验证模型是否注册到controller里面

python3 -m fastchat.serve.test_message --model-name Qwen-1_8B-Chat

 这一步没有问题，结果如下图所示

 第五步继续启动fastchat的openai server

python3 -m fastchat.serve.openai_api_server --host localhost --port 8000

验证 

打开链接：http://localhost:8000/docs  如下图所示

GET选项里面点击Try it out和Execute可以查询到model list情况

不过在下面POST测试中出现了问题。下面第一个图是message消息，点击execute后遇到第二个图的错误信息。

使用下面curl命令也返回 Internal Server Error. 

curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json"   -d '{
    "model": "Qwen-1_8B-Chat",
    "messages": [{"role": "user", "content": "Hello! What is your name?"}]}'

当出现Internal Server Error时，openai_api_server的命令窗口会出现下面的错误

Debug

可能跟相关组件的版本有关系，曾经将openai版本降低但还是会遇到问题。 目前正在debug中。