当前位置:   article > 正文

AI Vtuber一款聚合了多种大模型技术的虚拟主播_ai vtb

ai vtb

AI-Vtuber是一款数字人虚拟直播软件,聚合了多种多种市面主流大模型技术,可谓牛得一逼。包括:支持ChatGPTClaudeChatGLM智谱AI文心一言Google BardGoogle Gemini等等一系列的 Chat 技术;支持VITSBert-Vits2VALL-E-XOpenVoiceclone-voiceEdge-TTS等多种的语音技术;同时也支持So-Vits-SVCDDSP-SVC变声技术。

是不是感觉技术栈满当当的,这还没完。最让笔者感觉牛逼的还是对接了多种数字人平台,包含:Live2DVtube StudioUE5EasyAIVtuber。而且还支持一键接入多种国内外直播平台,像B站抖音快手小程序YouTube和近年来最火爆的TikTok

此时此刻,有没有一点懵逼的感觉,老实说,其实笔者第一反应就是如此。

项目框架

如果大胆的想象一下,不妨将其称之为互联网技术的终点就是 AI 数字人。好了,笔者先带大家看看项目的整体架构吧

有没有很惊讶,AI Vtuber几乎能够模拟出人类肢体主要的特征。当然,笔者尝试了这些技术。整体来看,厂商接口效果肯定更好,开源算法目前只能做验证替代。但是,笔者坚信不久的将来,AI 智能虚拟人一定会完美实现。

上面,看完这个比较宏大的架构,我们也来简单分析下作者是如何实现的。

代码剖析

  • config.json 配置文件
  • api.py 接口主程序
  • main.py GUI 界面主程序
  • webui.py WEBUI 界面主程序
  • utils 文件夹,Chat、T2ST、S2TT 和通用类相关功能的封装实现
  • data 文件夹,存储数据文件、违禁词、文案等
  • Live2D 文件夹,存储 Live2D 源码及模型

前端工程

整个项目以webui.py文件作为入口,使用NiceGUI这个 Python 框架为整个项目的编写 Web 前端。

后端工程

讲真,作者的后端工程整体就比较粗糙了,整个后端架构不是很合理。

后端工程主要包含:api.py接口代码、main.py界面代码、config.json全局配置代码。

整个项目都是基于各种算法接口直接的配合调用,代码相对简单。如果想自行尝试的同学,可以先本地部署需要的开源算法,然后通过127.0.0.1进行配置调用。针对厂商的商业 AI 服务,则需要先申请权限后才能使用。

针对对接第三方直播平台,作者主要采用了两种方式:第三方 SDK爬虫逆向,具体如下:

  • Bilibili:SDK(bilibili-api-python),具体地址:github.com/Nemo2011/bi…)
  • 抖音:websockets 接口 + protobuf2 协议方式
  • 快手:https + websockets 接口 + protobuf2 协议方式
  • 视频号:HTTP 回调方式
  • 斗鱼:websockets 接口方式
  • Youtube:SDK(pytchat),具体地址:github.com/EbenKouao/y…
  • twitch:HTTP 方式
  • Tiktok:SDK(TikTokLive),具体地址:github.com/isaackogan/…

做个小结

好了,以上就是整个技术就是介绍,笔者做个小结:

  • 作者以当前的主流AI技术为复合基础,搭建了一个技术全面,脉络清晰的数字人平台,梳理好了当前的技术栈。但是采用的技术较通用,相对比较简单。
  • 整个项目单点架构,用作本地验证可以,如果落地生产,则需要做一个较大的重构。比如:代码框架优化;内存队列改远程分布式队列;内存/文件存储改远程缓存/对象存储;算法使用懒加载机制;Chat 接口支持Stream机制。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/635713
推荐阅读
相关标签