Cpp五条

这个屌丝很懒，什么也没留下！

热门标签

AniPortrait：音频驱动逼真人像合成，腾讯AI数字人整合包_aniportraitv10

作者：Cpp五条 | 2024-05-04 14:42:23

踩

aniportraitv10

AniPortrait：音频驱动逼真人像合成，腾讯AI数字人整合包

之前阿里展示EMO项目让照片唱歌说话时，惊艳了所有人，然而到现在为止一直还没开源被饱受诟病，今天腾讯的AniPortrait来啦！也是一个让照片开口项目说话的项目！根据音频和图像输入生成会说话、唱歌的动态视频它可以根据音频（比如说话声）和一张静态的人脸图片，自动生成逼真的人脸动画，并保持口型一致。支持多种语言，同时支持进行面部重绘和头部姿势控制。
在这里插入图片描述

腾讯提出的新颖框架，专注于通过音频和参考肖像图像生成高质量动画。该方法分为两个阶段：首先从音频中提取3D中间表示，并将其投影到2D面部地标序列中；其次，使用一个结合运动模块的高质量扩散模型，将地标序列转换为逼真且时间上连贯的肖像动画。

Github开源地址：

https://github.com/Zejun-Yang/AniPortrait

核心技术

音频分析：AniPortrait接收音频文件作为输入，通过对这些数据的深入分析，识别出语音模式、情感和节奏。
动画生成：依据音频分析结果，AniPortrait能够生成与声音匹配的肖像动画。特别是在音频包含说话声的情况下，动画会模拟真实的口型和面部表情，以符合说话的节奏和情绪。

所提出的框架包括两个模块，Audio2Lmk 和 Lmk2Video。前者旨在从音频输入中提取一系列能够捕捉复杂面部表情和嘴唇运动的关键点序列。后者利用这些关键点序列生成具有时间稳定性的高质量肖像视频。下图1中概述了该框架，并在下文提供了更多细节。
在这里插入图片描述

生成结果

在这里插入图片描述

视频案例

316711351-d4e0add6-

316711084-849fce22-0db1

AI科技智库为广大用户提供了Windows环境下的一键启动包，旨在简化使用流程，使用户无需深入了解Python环境的搭建与配置，便可以轻松地启动并使用这一强大的工具。

如何下载资源？

1：下载压缩包

首先，您需要从以下链接下载一键启动包：
下载地址：https://www.aigchouse.com/1039.html 您可以在页面右侧找到下载按钮进行下载。

2：启动程序

下载完成后，解压压缩包，点击"启动程序"
在这里插入图片描述

3：浏览器操作

在浏览器中访问 http://127.0.0.1:7680/，即可通过界面使用工具。

系统要求

请确保您的电脑满足以下配置要求：

操作系统：Windows 10/11 64位
显卡：至少16GB显存的NVIDIA显卡

网站地址

AI科技智库：www.aigchhosue.com

这里有什么？

1、AI工具集合

您可以轻松找到全球最新热门Al工具，为了方便使用，AI科技智库团队精心制作了AI工具整合包，您可以下载并在Windows系统私有化本地化运行，包括图片、文本、视频、音频等工具资源，我们按照功能、业务和行业来分类，尽可能帮助大家找到自己想要的AI工具。

1.1 AI图片工具

1.2 AI文本工具

1.3 AI视频工具

1.4 AI音频工具

2、AI学习资源

AI科技智库还提供了很多Al资料和课程，包括AI面试资料、AI系统产品原型、AI产品经理视频教程，无论你是开发者还是产品经理，都可以在这里找到适合您的资源。相信每个人都可以开启自己的Al学习之旅。