秋刀鱼在做梦

这个屌丝很懒，什么也没留下！

热门标签

AI表情神同步！LivePortrait安装配置，一键包，使用教程

作者：秋刀鱼在做梦 | 2024-08-05 00:56:46

踩

快手在AI视频这领域还真有点东西，视频生成工具“可灵”让大家玩得不亦乐乎。

现在又开源了一款超好玩的表情同步（表情控制）项目。

一看这图片，就知道是小视频平台出的，充满了娱乐性。发布没几天就已经有8000+Star。

项目简介

LivePortrait 是一款由快手团队开发的高效肖像动画工具，通过隐式关键点框架，从静态图像生成动态视频。该工具可以让用户通过驱动视频生成逼真的面部表情和头部动作。这款工具不仅可以用于人脸动画，还能扩展到动物肖像，提供了广泛的应用场景。

该项目主页核心介绍其实就一句话“Bring portraits to life!” 可以理解为让“ 将肖像变得栩栩如生！”。

下面先简单说一下这个项目的特点，然后分享一下本地安装方法，最后是一件包和使用方法！

项目特点

表情神同步

这个项目的表情同步非常传神，这也是这个项目最大的特点。

嘴巴和眼神的同步，比较惊艳。

可以驱动图片和视频

可以用一段带有人物脸部表情的视频去驱动一张图片，同时也可以用视频驱动视频。

前者高效，只要你能拿到一张脸部照片，就可以让这张照片开口说话，做出各种表情。

后者高能，用视频驱动视频，会显得效果更加自然。

素材支持广泛

只要是带脸和五官的东西，基本都能玩。

“肖像”可以包括真人照，动漫人物，名画中的人物，甚至是兵马俑和动物。

单独修改眼睛和嘴巴

除了视频生成之外，还可以“一键P图”。

就是那种一键闭眼一键睁眼。一键闭嘴一键张嘴那种。当然也可以，闭上眼张开嘴。有一定的可玩性。

电脑配置要求低

AI视频和AI绘画是非常消耗配置的项目，比如很多基于SDXL的AI绘画类项目，模型动不动就是10G+，显存需求动不动就是16G+甚至24G。但是这个项目好很多，预训练模型才600M+。模型小就意味着显存需求也很低！

安装配置比较简单

这个项目配置起来非常简单。只需要根据项目主页的命令一行一行复制、粘贴、运行即可。Windows下安装依赖无需踩坑，直接装就可以了。除了Windows之外也支持基于M系列的macOS系统。

本地安装

云端的都是别人的，本地的才是自己的。下面来说一说如何本地安装，如果看过我之前的安装配置的文章，这个项目的安装会非常简单。

先保证本地电脑已经具备如下软硬件：

NVIDIA中高端显卡
Windows11系统
Python环境
Git工具

外加，懂一点CMD命令。就可以立马开干了。

克隆代码

使用git命令克隆源代码。


git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

克隆源代码之后，使用cd命令，进入到项目文件夹。

创建虚拟环境

使用conda工具创建一个虚拟环境，做本地隔离。


 
conda create -n LivePortrait python=3.10
conda activate LivePortrait

创建一个名为LivePortrait的基于Python3.10的虚拟环境，并且激活这个虚拟环境。

安装依赖

Python环境创建之后之后，通过req依赖文件，一键安装依赖


# 针对 Linux and Windows 用户
pip install -r requirements.txt
 
# 针对macOS M系列
pip install -r requirements_macOS.txt

注意，Windows和Linux用户用上面的命令，使用requirements.txt里的依赖列表来安装。Macos的用户使用专属的macOS.txt文件来安装。

安装之前要保证网络通畅，或者设置好了pip镜像。

下载模型

经过上面的步骤，安装配置就已经完成了。接下来是要获取模型。

通过命令获取：


#安装lfs，已经装过可以忽略
git lfs install
 
#下载模型
git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights
mv temp_pretrained_weights/* pretrained_weights/
rm -rf temp_pretrained_weights

这些命令会从huggingface上下载模型，并放置到pretrained_weights文件中，由于HF已经被嗝屁了，所以局域网用户可能不是太方便。

通过网盘获取：

项目主页给出了百度盘，谷歌盘，我也会整理好放在我的网盘，见文末。

模型的文件的目录结构如下：


pretrained_weights
├── insightface
│   └── models
│       └── buffalo_l
│           ├── 2d106det.onnx
│           └── det_10g.onnx
└── liveportrait
    ├── base_models
    │   ├── appearance_feature_extractor.pth
    │   ├── motion_extractor.pth
    │   ├── spade_generator.pth
    │   └── warping_module.pth
    ├── landmark.onnx
    └── retargeting_models
        └── stitching_retargeting_module.pth

模型并不是很大，网络好的话，下载起来很轻松。

快速运行推理

模型下载完成，并放置到指定路径之后，就可以运行了。

无界面运行：


# Linux and Windows
python inference.py
 
# For macOS with Apple Silicon, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py

直接用Python运行推理文件，这样软件会自动找演示素材，自动合成视频。

这种方式适合开发者快速验证环境，但是使用起来不是很方便。所以推荐第二种运行式。

使用网页版：


# For Linux and Windows users (and macOS with Intel??)
python app.py
 
# For macOS with Apple Silicon users, Intel not supported, this maybe 20x slower than RTX 4090
PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py