devbox
天景科技苑
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

FastGPT部署和OneAPI部署_fastgpt 能不能 提供 对外 api

作者：天景科技苑 | 2024-07-22 21:28:50

赞

踩

fastgpt 能不能 提供 对外 api

FastGPT模型管理

FastGPT只支持openai 格式的restful 的api接口。 就是 chat/completion那个接口。如果不理解可以参考这个文章 https://zhuanlan.zhihu.com/p/656959227 。 支持Python 。JAVA 等后端语言或者 http 访问

因此如果想访问大模型，有以下几种方案；

1、openai gpt：翻墙并注册ChatGPT账号，并创建API key （以前有免费5美刀额度，现在不知道有没有了）

2、openai gpt 套壳：用国内的代理服务，一般要收费，比如New API 随充随用， 创建令牌（token）就行了， 然后填写openai base url 和token （sk开头的）

3、本地模型转openai 格式：用vllm ，transformer ， swift ，ollama等方式启动一个本地模型， 也可以变成一个openai的服务。然后进行访问

4、国产大模型api兼容openai格式：注册kimi，kimi完全兼容openai格式。代码如下

  1. from openai import OpenAI
  2. # 注册kimi账号 ，并且充值api调用额度
  3. #https://platform.moonshot.cn/console/api-keys
  4. url = "https://api.moonshot.cn/v1"
  5. MOONSHOT_API_KEY = 'sk-xxxx自己去注册'#os.getenv("MOONSHOT_API_KEY")
  6.  
  7.  
  8. client = OpenAI(
  9.     api_key= MOONSHOT_API_KEY,
  10.     base_url=url,
  11. )
  12. completion = client.chat.completions.create(
  13.   model="moonshot-v1-8k",
  14.   messages=[
  15.     {"role": "system", "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。"},
  16.     {"role": "user", "content": "你是谁"}
  17.   ],
  18.   temperature=0.3,
  19. )
  20.  
  21. print(completion.choices[0].message.content)

FastGPT部署脚本

  1. # 数据库的默认账号和密码仅首次运行时设置有效
  2. # 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
  3. # 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
  4. # 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）
  5.  
  6. version: '3.3'
  7. services:
  8.   # db
  9.   pg:
  10.     # image: pgvector/pgvector:0.7.0-pg15 # docker hub
  11.     image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
  12.     container_name: pg
  13.     restart: always
  14.     ports: # 生产环境建议不要暴露
  15.       - 5432:5432
  16.     networks:
  17.       - fastgpt
  18.     environment:
  19.       # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
  20.       - POSTGRES_USER=username
  21.       - POSTGRES_PASSWORD=password
  22.       - POSTGRES_DB=postgres
  23.     volumes:
  24.       - ./pg/data:/var/lib/postgresql/data
  25.   mongo:
  26.     # image: mongo:5.0.18 # dockerhub
  27.     image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
  28.     # image: mongo:4.4.29 # cpu不支持AVX时候使用
  29.     container_name: mongo
  30.     restart: always
  31.     ports:
  32.       - 27017:27017
  33.     networks:
  34.       - fastgpt
  35.     command: mongod --keyFile /data/mongodb.key --replSet rs0
  36.     environment:
  37.       - MONGO_INITDB_ROOT_USERNAME=myusername
  38.       - MONGO_INITDB_ROOT_PASSWORD=mypassword
  39.     volumes:
  40.       - ./mongo/data:/data/db
  41.     entrypoint:
  42.       - bash
  43.       - -c
  44.       - |
  45.         openssl rand -base64 128 > /data/mongodb.key
  46.         chmod 400 /data/mongodb.key
  47.         chown 999:999 /data/mongodb.key
  48.         echo 'const isInited = rs.status().ok === 1
  49.         if(!isInited){
  50.           rs.initiate({
  51.               _id: "rs0",
  52.               members: [
  53.                   { _id: 0, host: "mongo:27017" }
  54.               ]
  55.           })
  56.         }' > /data/initReplicaSet.js
  57.         # 启动MongoDB服务
  58.         exec docker-entrypoint.sh "$$@" &
  59.  
  60.         # 等待MongoDB服务启动
  61.         until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
  62.           echo "Waiting for MongoDB to start..."
  63.           sleep 2
  64.         done
  65.  
  66.         # 执行初始化副本集的脚本
  67.         mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js
  68.  
  69.         # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
  70.         wait $$!
  71.  
  72.   # fastgpt
  73.   sandbox:
  74.     container_name: sandbox
  75.     # image: ghcr.io/labring/fastgpt-sandbox:v4.8.4 # git
  76.     image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.4 # 阿里云
  77.     networks:
  78.       - fastgpt
  79.     restart: always
  80.   fastgpt:
  81.     container_name: fastgpt
  82.     # image: ghcr.io/labring/fastgpt:v4.8.4 # git
  83.     image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.4 # 阿里云
  84.     ports:
  85.       - 3000:3000
  86.     networks:
  87.       - fastgpt
  88.     depends_on:
  89.       - mongo
  90.       - pg
  91.       - sandbox
  92.     restart: always
  93.     environment:
  94.       # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
  95.       - DEFAULT_ROOT_PSW=1234
  96.       # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
  97.       - OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
  98.       # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
  99.       - CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0
  100.       # 数据库最大连接数
  101.       - DB_MAX_LINK=30
  102.       # 登录凭证密钥
  103.       - TOKEN_KEY=any
  104.       # root的密钥，常用于升级时候的初始化请求
  105.       - ROOT_KEY=root_key
  106.       # 文件阅读加密
  107.       - FILE_TOKEN_KEY=filetoken
  108.       # MongoDB 连接参数. 用户名myusername,密码mypassword。
  109.       - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
  110.       # pg 连接参数
  111.       - PG_URL=postgresql://username:password@pg:5432/postgres
  112.       # sandbox 地址
  113.       - SANDBOX_URL=http://sandbox:3000
  114.       # 日志等级: debug, info, warn, error
  115.       - LOG_LEVEL=info
  116.     volumes:
  117.       - ./config.json:/app/data/config.json
  118.   # oneapi
  119.   mysql:
  120.     image: m.daocloud.io/docker.io/deepflowce/mysql:8.0.31
  121.     container_name: mysql
  122.     restart: always
  123.     ports:
  124.       - 3306:3306
  125.     networks:
  126.       - fastgpt
  127.     command: --default-authentication-plugin=mysql_native_password
  128.     environment:
  129.       # 默认root密码，仅首次运行有效
  130.       MYSQL_ROOT_PASSWORD: oneapimmysql
  131.       MYSQL_DATABASE: oneapi
  132.     volumes:
  133.       - ./mysql:/var/lib/mysql
  134.   oneapi:
  135.     container_name: oneapi
  136.     image: ghcr.io/songquanpeng/one-api:latest
  137.     ports:
  138.       - 3001:3000
  139.     depends_on:
  140.       - mysql
  141.     networks:
  142.       - fastgpt
  143.     restart: always
  144.     environment:
  145.       # mysql 连接参数
  146.       - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
  147.       # 登录凭证加密密钥
  148.       - SESSION_SECRET=oneapikey
  149.       # 内存缓存
  150.       - MEMORY_CACHE_ENABLED=true
  151.       # 启动聚合更新，减少数据交互频率
  152.       - BATCH_UPDATE_ENABLED=true
  153.       # 聚合更新时长
  154.       - BATCH_UPDATE_INTERVAL=10
  155.       # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
  156.       - INITIAL_ROOT_TOKEN=fastgpt
  157.     volumes:
  158.       - ./oneapi:/data
  159. networks:
  160.   fastgpt:

      # AI模型的API地址哦。务必加 /v1。我已经改成wenwen的地址
      - OPENAI_BASE_URL=https://key.wenwen-ai.com/v1
      # AI模型的API Key。（这里默认填写了问问的令牌）你需要创建自己的令牌
      - CHAT_API_KEY=sk-rqcfk0jpAxF0f962a768aF2456c9252De0f6a1e6cF0

CHAT_API_KEY 要改成自己的token ， New API 在这里，点击钱包充值，然后新建我的令牌就可以了 。

docker 自定义配置

docker yaml 文件和config.json文件要从官方文档手动下载， 不能用curl -o 来下载，有bug。

Docker Compose 快速部署 | FastGPT

找到下面的内容， 下载config.json和docker-compose.yaml (有三个向量库， 随便选一个）

打开docker-compose.yml, yml文件中的oneapi 和mysql docker 可以去掉（如果用wenwen 套壳代理）。

然后输入 docker-compose -d up 启动 如果识别不了，可以把后缀改成yaml 。

config.json中默认只有两个模型gpt3.5 和gpt4， 可以自己添加到LLM这个key里面

OneAPI 部署

场景

如果用上面的代理中转服务wenwen 就不需要部署OneAPI，如果有一些kimi ， zhipu ， qwen等等的商用api, 建议还是要部署一个oneapi

步骤

创建一个文件夹one-api ，建议是放在/data 下。完整路径为 /data/one-api。

然后用下面的docker 进行部署，不需要安装mysql。详细命令可以参考

GitHub - songquanpeng/one-api: OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v   /data/one-api:/data  ghcr.io/songquanpeng/one-api

-p 3002:3000 表示把服务器的3002 映射到docker内的3000端口， 3000端口就是oneapi的web页面端口。 你也可以把3002 改成你想要的其他端口， 主要不要跟已经有的docker重复了， 重复会启动失败。

-v /data/one-api:/data 表示把服务器的/data/one-api路径映射到容器里面的/data 

最后是镜像名ghcr.io/songquanpeng/one-api  （代理镜像）， 原本是justsong/one-api 这个镜像，但是由于需要翻墙所以用代理镜像。

然后没有报错就是启动成功了。 

输入docker ps确认是否启动。

然后在浏览器输入http://<ip>:<刚刚的端口号，比如3002> ,就可以打开oneapi的管理界面了。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/866857
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号