vllm 推理可商用智源Aquila；openai api使用、及langchain使用接口聊天_vllm提供openai接口形式的http服务。然后langchain直接当做openai调用可以的

作者：IT小白 | 2024-03-01 17:14:45

踩

vllm提供openai接口形式的http服务。然后langchain直接当做openai调用可以的了

如果vllm版本升级到0.2.0及以后，下面更改代码部分就不用了

vllm需要更新支持Aquila2的commit：（需要安装包里文件替换换新增下面新的支持Aquila2的修改文件）
https://github.com/vllm-project/vllm/pull/1339/files
在这里插入图片描述

1、运行

python -m vllm.entrypoints.api_server --model  ****/AquilaChat2-7B --swap-space 16 --disable-log-requests --host 1*****  --port 10860 --max-num-seqs 256 --trust-remote-code --tensor-parallel-size 2
1

在这里插入图片描述

2、api

隧道：

ssh -p 31022 -NL 7860:192.168.1.1:10860  root@18***12

1
2

import requests
import json
# from vllm import LLM, SamplingParams

headers = {"User-Agent": "Test Client"}
pload = {

        "prompt1
2
3
4
5
6
7

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/175585