当前位置:   article > 正文

讯飞星火API接口接入autogen studio的models_autogenstudio

autogenstudio

autogen studio是制作agent很不错的工具,它是以autogen制作成的网页版,其实是将autogen的模块定义用类已经写好,后期开发直接调用autogenstudio库的类就行,你可以先在网页版上将参数配置好,把workflows调式好后将配置参数下载后进行调库开发。

autogen对于API的调用都是openai接口框架,所以像国能许多大模型的接口无法使用,然而lang2openai这个项目就是将许多模型的API转换为openai的框架接口。

如讯飞星火API接口3.5,下载lang2aopenai

  • 下载向量和rerank模型
  1. # 下载安装git-fls https://github.com/git-lfs/git-lfs/releases
  2. git lfs install
  3. mkdir -p modal
  4. cd modal
  5. git clone https://www.modelscope.cn/quietnight/bge-reranker-large.git
  6. git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh-v1.5.git

windos 下载 GitHub - q2wxec/lang2openai: lang2openai

  • 配置llm,复制config-exp.ini
cp config-exp.ini config.ini 
  • 配置核心字段(最简版,除标注须替换的字段外,其他字段不动)
  1. # 复制本文件并命名 config.ini
  2. [llm]
  3. # https://console.xfyun.cn/services/cbm
  4. # 讯飞星火 app id
  5. xh_app_id =
  6. # 讯飞星火 api secret
  7. xh_api_secret =
  8. # 讯飞星火 api key
  9. xh_api_key =
  10. [embedding]
  11. bge_embedding_path =
  12. [rerank]
  13. bge_reranker_path =

这里注意配置文件里面把中文去掉,不然会报错。

  • 拉取项目,安装依赖
  1. # 进入项目主目录
  2. cd lang2openai
  3. # 创建虚拟环境
  4. python -m venv venv
  5. # 激活虚拟环境win10
  6. venv\Scripts\activate
  7. # 激活虚拟环境linux
  8. source venv/bin/activate
  9. # 后端依赖安装
  10. pip install -r requirements.txt
  • 启动项目 
  1. # python 3.10以上版本
  2. python main.py

部署完后需要改下几个地方的源码,因为没的3.5v接口的配置需要在源码里面添加,在aip/llm.py因为autogen的数据结构需要注释掉这个if语句

 

然后添加API的url和modal选项,需要添加llm/llm_loader.py文件

然后再启动python main.py,就可以用autogen接入了

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/794707
推荐阅读
相关标签
  

闽ICP备14008679号