基于GPT3.5逆向 和 本地Bert-Vits2-2.3 的语音智能助手_bert-vits2 chatglm

一、效果演示

各位读者你们好，我最近在研究一个语音助手的项目，是基于GPT3.5网页版的逆向和本地BertVits2-2.3 文字转语音，能实现的事情感觉还挺多，目前实现【无需翻墙，国内网络发送消息，返回答案文字和语音】，网站已上线并未公开链接，以下是演示GIF：

二、操作步骤

1. 前端使用uni-app完成，登录后主页中选中【AI助手】
   • 
2. 跳转到对话页面
   • 
3. 输入对话，并发送

4. 切换模型，秒级响应

三、架构解析

• 整体架构
  • 后端使用SpringCloud微服务 + nacos注册中心/配置中心 + sentinel限流
  • 前端使用 uni-app H5快速开发
• 后端服务规划有：
  1. TTS服务（文本转语音服务）：本地离线BertVits2-2.3
  2. ARS/STT服务 （语音转文本服务）：sherpa-ncnn-fast
  3. Chat服务：Chatglm2-6b-int4 GPU/Chatglm3-6b-int4 c++ CPU/ChatGPT3.5 网页逆向
  4. 分布式爬虫服务，用于在网络上爬取 chat服务返回文本包含“抱歉”的需要进行在线实时搜索的内容
  5. 本地知识库服务：用于缓存热词，需要实时搜索的关键词，查询记录等
  6. 大文件上传下载服务：支持断点续传