十九、虚拟主播_rad-nerf数字人

1、创建自己的数字人
    a) 登录Quixel Bridge
    https://www.unrealengine.com/zh-CN/bridge
    b) 选择产品-MetaHuman
    https://www.unrealengine.com/zh-CN/metahuman?state=%2Faccount%2Fpersonal
    点击creator，选择版本为5.1
    c) 立即开始：
    https://metahuman.unrealengine.com/mhc
    d) 点击创建
    选择一个数字人，再击创建所选，即可进行；

    e) 在ue编辑器中Quixel Bridge插件，在my MetaHuman中，选择自己创建的数字人，然后点击add，就可以在内容抽屉中看到metahuman文件夹了。
    f) 场景创建
    dcc软件搭建房子场景
    然后导入房间模型到ue5
    调整木地板，墙，沙发的材质，灯光；
    导入metahuman文件到场景
    安装mixamo converter软件，将虚拟人.fbx文件上传，搞出一个其它的姿势，如坐着。
2、人脸驱动数字人
    即用手机软件获取人脸表情，然后传递给数字人，详前述章节
3、文字驱动数字人
    UE5.2 + Metahuman SDK；
    登录账号后，打开EPIC启动器，选择 虚幻引擎--虚幻商城，搜索“Metahuman SDK"，在页面上选择安装到引擎，选择需要的引擎版，这样就将插件整合到了工程中了。然后在插件中启动该插件；
    创建一个文字转语音的资产：
        内容浏览器右击--create speech from text，选择goole:cmn-cn...,输入文字[各位领导，女士们，先生们，欢迎光临shandy科技，子曰：有朋自远方来，不亦乐乎！]，点击生成

    右击音频--create Lipsync Animation，选择需要产生口型动画的骨架。下拉选择时，为了使生成的动画整合到Metahuman，我们需要选择EMetahuman,从而产生Metahuman兼容的口型合成动画。单选框选中，生成面部，颈部动画；下拉选择表情等等。

    然后将前面的数字人拖到场景中；
    右击选择过场动画--关卡序列，然后将数字人拖到轨道中； 

         删除face和body下默认的动作，在face中选择刚才生成的动画文件；并将声音文件拖进去。点击播放，即可实现数字人动画效果。

    如果要使body也动，可右击声音文件，create Lipsync Animation，再创建一个文件，拖到body下即可。
    如果播放时意外出现闪退，那不是版本5.2的原因，有他：1）没有打开主关卡界面，而是打开了一个默认的未保存的关卡界面。2）开始和结束点没有设置好。一开始我试了好几次都闪退，后面用这二点后，就再没有出现了。
4、其它开源
    https://github.com/facebookresearch/pifuhd
        用照片生成3d数字人
    https://github.com/ashawkey/RAD-NeRF
        实时驱动照片说话
    https://aigc.yizhentv.com/
        一帧秒创，自动根据方案找图片，然后生成视频
     AvatarCLIP模型
        一个用于 3D 头像生成和动画的文本驱动框架；
     选择生成模型下载 FBX 格式后即可导入blender、Unity中 或上传至 Mixamo（拥有丰富的运动库） 中进行创作。