AI人工智能 这个数字人开源项目太牛了，非常全面的项目解决方案(含源码)_fay数字人

转载自：GitHub好项目君

大家好，我是GitHub好项目君，每天分享GitHub上的好项目，这几天一个短视频火了，有人部署了300台电脑就在那里直播！赚翻了，这就是数字人技术！视频大家去看

今天介绍一个开源的完整的数字人项目：Fay

Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、心理测评

github源代码：

https://github.com/TheRamU/Fay

国内源代码：

http://www.gitpp.com/pythonking/Fay

Fay的介绍

Fay作为一个开源项目，提供了构建数字化主播和其他虚拟角色的解决方案。项目的主要组成部分是Fay控制器和数字人模型，这些可以结合起来创造多种应用场景。以下是Fay能够生成的几种应用场景：

1. 虚拟主播：通过Fay控制器及数字人模型，开发者能够创建虚拟主播来进行直播带货或视频内容制作。这些主播可以是基于真实人物的模拟形象，也可以是完全的虚构角色。

2. 商品导购：数字人可以作为商品导购员，在商店或在线平台上辅助顾客进行购物选择，提供产品信息和建议。

3. 语音助理和远程语音助理：数字人可以作为语音助理，进行语音交互，提供信息查询、日程管理等辅助任务。在远程工作环境中，这样的数字人助手可以帮助进行远程会议管理、议程安排等。

4. 数字人互动：在教育、娱乐或客户服务领域，数字人可以用于创建互动体验，如教学互动、游戏互动等。

5. 数字人面试官：在招聘过程中，使用数字人面试官可以提供自动化的面试流程，公正地评估应聘者的资格。

6. 心理测评：数字人可用于创建心理测评工具，辅助心理健康评估，不过这需要确保测评内容的科学性和专业性。

7. 贾维斯/Her：类似电影《钢铁侠》中的贾维斯或《Her》中的操作系统，数字人可以作为智能助手，在用户日常生活中提供帮助，如管理家务、提供建议等。

Fay项目的开发考虑了当前科技趋势和市场需求，使开发者能够利用开源代码，创造具有多种功能的数字人，以适应不同的商业和个体需求。通过使用Fay，商家和个人可以节省传统直播或客户服务中的人力成本，同时提供24小时不间断的服务。Gitee平台支持AI模型的托管，为AI开发者提供了方便的托管服务，确保了开发和部署的高效性和稳定性。

值得注意的是，尽管Fay项目的潜力巨大，但开发者在构建和部署应用时，也需要遵守相关法律法规，并确保内容的真实性和合法性，特别是在涉及商品推广、心理健康测评等敏感领域。

开发人员可以利用该项目简单地构建各种类型的数字人或数字助理。该项目各模块之间耦合度非常低，包括声音来源、语音识别、情绪分析、NLP处理、情绪语音合成、语音输出和表情动作输出等模块。每个模块都可以轻松地更换。

Fay控制器的用途

Fay控制器是一个开源项目，主要用于管理和控制数字人模型，以实现各种应用场景，如虚拟主播、商品导购、语音助理等。Fay控制器的核心功能包括：

1. 语音识别与合成：Fay控制器支持语音识别和语音合成技术，可以实现与用户的自然语言交互。通过识别用户的语音输入，控制器可以理解用户的需求并提供相应的回应。

2. 动作控制：Fay控制器可以控制数字人的动作和表情，使数字人能够根据应用场景进行相应的表演和互动。通过动作控制，数字人可以实现更加自然和逼真的表现。

3. 场景管理：Fay控制器支持多种场景的应用，可以根据不同场景的需要，调整数字人的表现和行为。例如，在商品导购场景下，数字人可以展示商品信息并提供购买建议；在教育场景下，数字人可以进行教学讲解等。

4. 应用开发接口：Fay控制器提供了一系列开发接口，使开发者可以方便地创建和定制数字人应用。开发者可以利用这些接口，将数字人集成到自己的应用中，实现各种创新的应用场景。

总的来说，Fay控制器的用途在于提供一个灵活、强大的工具，使开发者能够轻松地创建和部署数字人应用，满足不同领域的需求。

优秀的产品都值得用Fay数字人从新做一遍

10月，Fay数字人 AI Agent版与官方demo(实验箱)同时开源！ 目前进展

一、APP载入UE数字人：

1、像素流服务搭建及优化：已经完成，上线时会同步开放代码

2、UE音频流插件：正在调试修复Bug.

3、改进BS唇型：进行中.

二、智慧农业箱硬件改造：完成并已经稳定运行，上线时会公布硬件设计图.

三、IOTM3.0及Raspberry逻辑修改：完成并已经稳定运行，上线时会同步开放代码.

四、农业LLM：已经搭建农业知识图谱。开始测试gpt4的设备控制的推理能力:已经完成硬件控制规则的自动初始化及控制逻辑的自动修正测试.

据项目开发者在博客中介绍，Fay 的基本理念就是“把人数字化，以行人的职责”。

具体来讲是通过技术把人的特征数字化，比如进行语音识别、情绪分析，构建人的表情和动作，合成带有情绪的语音并输出，让这个数字人有“耳朵”“嘴巴”。

从构成上看，Fay 由多个模块组成，各个模块之间耦合度非常低，包括声音来源、语音识别、情绪分析、NLP 处理、情绪语音合成、语音输出和表情动作输出等模块，每个模块都可根据需要自行替换。下图为 Fay 控制器的核心逻辑。

该项目需在 Python 3.8.0 + 环境下运行；

如要开启直播功能，需下载 Chrome 浏览器；

安装依赖。

更多详情官网 

数字人在电商直播的应用主要体现在以下几个方面：

1. 商品展示与推广：通过数字人虚拟主播的形象定制和语言表达，可以将商品进行精准展示和推广，提高商品的吸引力和购买欲望。

2. 降低成本：与传统的线下直播相比，数字人直播可以省去场地租赁、设备购置等大量费用，降低运营成本。

3. 超越时间和空间限制：数字人直播可以随时随地进行，不受时间和空间的限制，实现全天候直播，吸引更多观众。

4. 可定制化内容：数字人虚拟主播可以根据不同场景和需求进行定制，提供更多元化、创新化的内容，满足用户的个性化需求。

5. 强大的互动体验：通过先进的人工智能技术，数字人虚拟主播可以与观众进行实时互动，增加用户参与度和粘性。

6. 个性化购物体验：数字人直播软件为电商直播注入了更多的个性化元素。虚拟主播可以根据观众的兴趣和需求，实时调整内容，提供更加个性化的购物建议。

7. 持续互动：数字人直播软件可以实现24/7的持续直播，无需主播休息。这意味着观众可以随时进入直播间，获取产品信息并进行购买。

8. 语音和情感分析：一些数字人直播软件已经整合了语音和情感分析技术。这使得虚拟主播能够更好地理解和回应观众的情感和需求。

9. 跨平台传播：数字人直播软件可以轻松集成到各种社交媒体平台和电商网站中，提高了曝光度和销售机会。

github源代码：

https://github.com/TheRamU/Fay

国内源代码：

http://www.gitpp.com/pythonking/Fay