【AI数字人】根据音频生成带动画的数字人_ai数字人音频生成

作者：我家小花儿 | 2024-04-09 14:22:32

踩

ai数字人音频生成

这是一个从音频和蒙面手势生成全身人体手势的框架，包括面部、局部身体、手和整体动作。为了实现这一目标，我们首先引入 BEATX (BEAT-SMPLXFLAME)，一个新的网格级整体协同语音数据集。 BEATX 将 MoShed SMPLX 身体与 FLAME 头部参数相结合，进一步细化头部、颈部和手指运动的建模，提供社区标准化的高质量 3D 运动捕捉数据集。 EMAGE 在训练期间利用屏蔽的身体姿势先验来提高推理性能。它涉及一个屏蔽音频手势转换器，促进音频手势生成和屏蔽手势重建的联合训练，以有效地编码音频和身体手势提示。然后，将来自蒙面手势的编码身体提示分别用于生成面部和身体动作。此外，EMAGE 自适应地合并来自音频节奏和内容的语音特征，并利用四种组合 VQVAE 来增强结果的保真度和多样性。实验表明，EMAGE 可以生成具有最先进性能的整体手势，并且可以灵活地接受预定义的时空手势输入，生成完整的音频同步结果。

代码地址：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/393302?site