当前位置:   article > 正文

2024 CVPR AIGC集合_high-fidelity generalized emotional talking face g

high-fidelity generalized emotional talking face generation with multi-modal

完全外行,不建议参考

一、3D重建

  1. PointAvatar: Deformable Point-based Head Avatars from Videos
    对原始颜色进行解纠缠,得到固有反射和相关阴影。
    基于可变形点云对表情、颜色、位置等信息进行建模。
    总结:可以看作是对局部像素的分解与扩展。
    在这里插入图片描述

  2. NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images
    通过神经渲染技术获得底层的几何表示。
    基于几何、物理、光照进行建模。
    总结:对全局结构的关注和扩展。
    在这里插入图片描述

  3. A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

二、talking-head

  1. MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation
    在生成过程中对原始身份信息进行保留,以保留更多人像相关信息。
    提取密集landmark,预测并增强wrap flow。
    总结:对位移做预测,进行像素点扭曲。
    在这里插入图片描述
  2. High-fidelity Generalized Emotional Talking Face Generation with Multi-modal Emotion Space Learning
    利用多模态(图片、音频、文本)情绪驱动。
    和(1)对比,没有头部驱动,更类似于wav2lip。
    总结:给定原图片(身份)和参考视频(动作、情绪),利用辅助信息做生成。
    在这里插入图片描述
  3. Progressive Disentangled Representation Learning for Fine-Grained Controllable Talking Head Synthesis
    利用数据增强进行解纠缠
    总结:同步解纠缠多种类型特征辅助生成
    在这里插入图片描述
  4. LipFormer: High-fidelity and Generalizable Talking Face Generation with A Pre-learned Facial Codebook
    预训练习得高质量人脸码本,利用合适的唇部编码和扭曲模块辅助生成。
    总结:利用先验知识辅助生成。

三、身份交换

  1. 3D-Aware Face Swapping
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/481797
推荐阅读
相关标签
  

闽ICP备14008679号