Springboot对接大模型，支持流式输出_springboot 集成星火大模型实现流式传输

作者：小小林熬夜学编程 | 2024-04-30 02:40:41

踩

springboot 集成星火大模型实现流式传输

项目名： OnChat

项目地址：项目地址

通过OpenAI ApI的格式访问模型，一种请求访问所有大模型。

1. 后端使用springb webflux开发，前端管理使用vue + vuetify

2. 通过OpenAI ApI的格式访问所有的大模型

3. 支持添加的模型

OpenAi，Google Gemini，阿里通义千问，讯飞星火，360智脑，智谱AI，Moonshot

4. 支持自定义模型映射

5. 支持流式输出模型，

6. 分发二次令牌，通过生成的令牌来访问添加的模型

7. 请求日志记录，包括请求的模型、输入输出、请求耗时、ip地址

8.支持设置代理请求

9. 日志统计

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/511069