当前位置:   article > 正文

DeepFaceLab: 更新记录以及版本说明!_rtm wf faceset

rtm wf faceset

DeepFaceLab更新记录以及版本说明

DeepFaceLab 从2018年开始,进入快速迭代更新,所以版本非常多。我们追随这个项目许久,保存了一些有价值的历史版本,并且对软件的更新做一个记录,方便自己也方便别人,机翻可能有些地方有误。
============ 更新记录(持续更新) ============
————————————————————————————————————————————————————————
== 2022 年7月23日 ==
修复样本生成中的比例因子。添加了 util --export-faceset-mask PS:实时交互换face项目容错率大幅度提升
————————————————————————————————————————————————————————
== 2022 年5月4日 ==
修复 tf-directml TF_DIRECTML_KERNEL_CACHE_SIZE提高到2500 压榨出2.5G加速?不香可否自己加?(未测试)
————————————————————————————————————————————————————————
== 2021 年 11 月 20 日 ==
修复了合并中的rct颜色转移
固定模型导出。
修复模型导出。更新 tf2onnx 到 1.9.2
————————————————————————————————————————————————————————
== 2021 年 10 月 20 日 ==
SAEHD、AMP:随机比例增加到 -0.15+0.15。改进了 lr_dropout能力以达到较低的损失值。
SAEHD:更改了bg_style_power的算法。现在可以更好地缝合失去src相似性的脸。
添加了选项随机色调/饱和度/光强度仅在神经网络的输入处应用于src面集。在面部交换期间稳定颜色扰动。通过选择src faceset中最接近的颜色来降低颜色传输的质量。因此 ,src faceset必须足够多样化。典型的精细值为 0.05。
Liae arhi:当random_warp 关闭时,不再训练inter_AB网络以保持面部更像src。
————————————————————————————————————————————————————————
== 09.10.2021 ==
SAEHD:添加了 -t arhi选项。使脸部更像src。
SAEHD,AMP:
移除了定期重新训练最后 16 个“高损失”样本的隐式函数
固定导出到 . dfm 格式在 DirectX12 DeepFaceLive构建中正常工作。
在样本生成器中,随机缩放从 -0.05+0.05 增加到 -0.125+0.125,提高了人脸的泛化能力。
————————————————————————————————————————————————————————
== 06.09.2021 ==
修复了模型保存中的错误。
AMP、SAEHD:添加了“模糊遮罩”选项
模糊训练样本应用面罩之外的附近区域。
结果是脸部附近的背景变得平滑,并且在交换的脸部上不太明显。
需要src和dst faceset中的确切xseg掩码。
AMP、SAEHD:样本处理器数量不再限制为 8 个,因此如果您的 AMD 处理器具有 16 个以上内核,请增加分页文件大小。
DirectX12 构建:将 tensorflow-directml更新 到 1.15.5 版本。(PS:amd处理器的多核人脸提速可以兼容)
————————————————————————————————————————————————————————
== 12.08.2021 ==
XSeg模型:改进的预训练选项
Generic XSeg:添加了更多的面(面集不公开)并使用预训练选项重新训练。现在质量更高了。
更新了 RTM WF 数据集,应用了新的 Generic XSeg蒙版,还添加了 490 个闭着眼睛的脸。
————————————————————————————————————————————————————————
== 30.07.2021 ==
导出 AMP/SAEHD:添加了“导出量化”选项。(之前启用)
使导出的模型更快。如果您有问题,请禁用此选项。
AMP模型:
更改了ct模式的帮助:
将src样本的颜色分布更改为接近dst样本。如果src faceset足够反,那么lct模式在大多数情况下都可以。
现在默认中间暗淡 1024
返回 lr_dropout选项
最后的高损失样本行为- 与 SAEHD 相同

XSeg模型:添加了预训练选项。
Generic XSeg:使用预训练选项重新训练。现在质量更高了。
更新了 RTM WF 数据集,应用了新的 Generic XSeg掩码。
————————————————————————————————————————————————————————
2021年7月17日
SAE/AMP: GAN模型恢复到了12月份的版本,至于哪一个好,可以在高清数据集上做一个测试。
SAE/AMP: GAN model is reverted to December version, which is better, tested on high-res fakes.
AMP 默认的变形因子现在是0.5
AMP: default morph factor is now 0.5

眼部和嘴部优先选项已经移除,改为默认启动
Removed eyes_mouth_prio option, enabled permanently.

遮罩训练选项已经移除,改为默认启动
Removed masked training, enabled permanently.

添加脚本
Added script

源素材和源素材的训练脚本
6) train AMP SRC-SRC.bat

AMP靠谱的训练方法
Stable approach to train AMP:

整理一个表情充分足够多样化的人脸集合

  1. Get fairly diverse src faceset

设置变形因子为0.5
2) Set morph factor to 0.5

训练源源数据集到50万跌倒(越多越好)
3) train AMP SRC-SRC for 500k+ iters (more is better)

删除inter_dst的模型文件
4) delete inter_dst from model files

正常训练
5) train as usual
————————————————————————————————————————————————————————
2021年7月1日
AMP模型: 修复预览历史

AMP model: fixed preview history

添加‘内部维度’选项,模型已经修改了。需要等于或者大于自动编码器维度。
added ‘Inter dimensions’ option. The model is not changed. Should be equal or more than AutoEncoder dimensions.

维度越多越好,但是需要更多显存,你可以根据你的配置来微调模型的大小
More dims are better, but require more VRAM. You can fine-tune model size to fit your GPU.

移除预训练选项
Removed pretrain option.

默认变形因子设置为0.1
Default morph factor is now 0.1

如何去训练AMP
How to train AMP:

用常规的源素材和目标素材训练

  1. Train as usual src-dst.

删除内部模型文件
2) Delete inters model files.

训练源素材和源素材,意思就是把源素材放到目标素材的文件夹
3) Train src-src. It’s mean place src aligned to data_dst

删除内部模型文件
4) Delete inters model files.

用常规的源素材和目标素材训练
5) Train as usual src-dst.

添加脚本
Added scripts

使用dfm.bat导出AMP模型
6) export AMP as dfm.bat

使用dfm.bat导出SAEHD模型
6) export SAEHD as dfm.bat

导出的dfm模型可用直播换脸软件(DeepFaceLive)
Export model as .dfm format to work in DeepFaceLive.
————————————————————————————————————————————————————————
2021年5月30日
添加了实验性模型AMP(作为放大器,因为dst的面部表情放大到了src)
Added new experimental model ‘AMP’ (as amplifier, because dst facial expressions are amplified to src)

View post on imgur.com

这个模型具有变形因子,可以在合成之前设置0.0-0.1之间的值

It has controllable ‘morph factor’, you can specify the value (0.0 … 1.0) in the console before merging process.

不同的脸部轮廓,会活的不同的下巴线
If the shapes of the faces are different, you will get different jaw line

View post on imgur.com

这就需要非常硬核的后期处理
which requires a hard post process.

但是你可以通过一个急于大佬人脸的预训练遮罩模型解决这个问题(包含在BT种子里面)。然后你可以在这个基础上继续训练dst
But you can pretrain a celeb on large dst faceset with applied Generic XSeg mask (included in torrent). Then continue train with dst of the fake.

在这种情况下你可以活的很好的融合效果。
In this case you will get more ‘sewed’ face.

View post on imgur.com

合成后的脸看起来不错
And merged face looks fine:

View post on imgur.com

基于大佬人脸训练的通用遮罩模型已经包含在种子文件里面。
Large dst WF faceset with applied Generic XSeg mask is now included in torrent file.

如果你的人脸集合足够多样化足够大,预训练的时候使用lct颜色转换模式比较有用。
If your src faceset is diverse and large enough, then ‘lct’ color transfer mode should be used during pretraining.

遮罩编辑器:现在删除后的人脸被移动到了_trash 目录,并且按钮移动到了窗口的右边。
XSegEditor: delete button now moves the face to _trash directory and it has been moved to the right border of the window

人脸打包工具现在会提示是否删除源文件。
Faceset packer now asks whether to delete the original files

模型自动保存时间从15分钟改成了25分钟。
Trainer now saves every 25 min instead of 15
————————————————————————————————————————————————————————
2021年5月12日
数据集缩放工具已经支持改变图片的脸类型
FacesetResizer now supports changing face type

遮罩编辑工具:添加了删除按钮
XSegEditor: added delete button

遮罩训练提升
Improved training sample augmentation for XSeg trainer.

XSeg模型已经被修改,以便更好地处理大量不同的面,因此您应该重新训练现有的XSeg模型。
XSeg model has been changed to work better with large amount of various faces, thus you should retrain existing xseg model.

添加了一个基于大量人脸的预训练模型。它最适用于src faceset,因为它包含干净的面,也可以用于不是很复杂的dst镜头。
Added Generic XSeg model pretrained on various faces. It is most suitable for src faceset because it contains clean faces, but also can be applied on dst footage without complex face obstructions.

5.XSeg Generic) data_dst whole_face mask – apply.bat

5.XSeg Generic) data_src whole_face mask – apply.bat
————————————————————————————————————————————————————————
2021年4月22日
添加了新的集成版DeepFaceLab_DirectX12,能在所有支持DirectX12的Win10系统上运行。
Added new build DeepFaceLab_DirectX12, works on all devices that support DirectX12 in Windows 10:

比如
AMD Radeon R5/R7/R9 2xx series or newer

比如
Intel HD Graphics 5xx or newer

比如
NVIDIA GeForce GTX 9xx series GPU or newer

在N卡上面,DirectX12版本要比NVIDIA版本慢20~80%。
DirectX12 is 20-80% slower on NVIDIA Cards comparing to ‘NVIDIA’ build.

提升了Xseg训练时样例生成效率。
Improved XSeg sample generator in the training process.
————————————————————————————————————————————————————————
== 23.03.2021 ==

SAEHD: random_flip已经被替为新的参数
SAEHD: random_flip option is replaced with

random_src_flip (default OFF)
Random horizontal flip SRC faceset. Covers more angles, but the face maylook less naturally
random_dst_flip (default ON)
Random horizontal flip DST faceset. Makes generalization of src->dst better, if src random flip is not enabled.

添加了人脸数据集图片大小修改工具
Added faceset resize tool via

脚本名如下:
4.2) data_src util faceset resize.bat
5.2) data_dst util faceset resize.bat

把人脸数据集调整到和模型像素一样,可以减少CPU负载
Resize faceset to match model resolution to reduce CPU load during training.

别忘了备份原始数据集
Don’t forget to keep original faceset.
2021年1月4日
SAEHD: GAN升级,使得预览图减少了生硬感,变得更加干净!
SAEHD: GAN is improved. Now produces less artifacts and more cleaner preview.

GAN的选项
All GAN options:

GAN强度
GAN power

强迫神经网络学习脸部的小细节。
Forces the neural network to learn small details of the face.

当开始lr_dropout,关闭random_warp训练足够之后,启用这个参数,开了之后就别关了!
Enable it only when the face is trained enough with lr_dropout(on) and random_warp(off), and don’t disable.

数字越高,会越生硬。比较常用的值为0.1
The higher the value, the higher the chances of artifacts. Typical fine value is 0.1

GAN Patch大小
GAN patch size (3-640)

数字越到,质量越好,同时也需要越多的显存
The higher patch size, the higher the quality, the more VRAM is required.

即使在最低设置下,您也可以获得更锐利的边缘。
You can get sharper edges even at the lowest setting.

典型值为 8
Typical fine value is resolution / 8.

GAN 网络维度
GAN dimensions (4-64)

GAN网络的尺寸
The dimensions of the GAN network.

尺寸越高,对VRAM的要求就越高。
The higher dimensions, the more VRAM is required.

即使在最低设置下,您也可以获得更锐利的边缘。
You can get sharper edges even at the lowest setting.

典型值为 16
Typical fine value is 16.

不同设置的比较图
Comparison of different settings: https://i.imgur.com/6IgvsLN.png
————————————————————————————————————————————————————————
2020年12月22日
缩短训练数据的加载时间
The load time of training data has been reduced significantly.
————————————————————————————————————————————————————————
2020年12月20日
SAEHD:

现在lr_dropout和AdaBelief可以同时使用了。
lr_dropout now can be used with AdaBelief

眼部优先被替换为眼部和嘴部优先
Eyes priority is replaced with Eyes and mouth priority

主要是为了修复异形眼和眼神乱飘的问题,同时也能让牙齿的细节更高。
Helps to fix eye problems during training like “alien eyes” and wrong eyes direction.

同时也能让牙齿的细节更高
Also makes the detail of the teeth higher.

新模型的默认值改咯
New default values with new model:

没啥好翻译
Archi : ‘liae-ud’

没啥好翻译
AdaBelief : enabled
————————————————————————————————————————————————————————
2020年12月16日 (提速)
Windows 10 比较新的版本记得修改图形设置,启用GPU加速。
针对所有英伟达显卡的集成版
Now single build for all video cards.

深度学习框架TensorFlow升级到了2.4.0,同步升级 CUDA 11.2,CuDNN 8.0.5
Upgraded to Tensorflow 2.4.0, CUDA 11.2, CuDNN 8.0.5.

你不需要安装任何依赖(除了升级显卡驱动)
You don’t need to install anything.

2020年12月11日
深度学习框架tf更新到2.4.0rc4
Upgrade to Tensorflow 2.4.0rc4

支持英伟达3000系列
Now support RTX 3000 series.

算力只有3.0显卡将不再支持。
Videocards with Compute Capability 3.0 are no longer supported.

不支持AVX的CPU也不再支持
CPUs without AVX are no longer supported.
————————————————————————————————————————————————————————
3000系列分割线===

2020年8月2日
SAEHD: now random_warp is disabled for pretraining mode by default
SAEHD: 针对预训练,模型选项random_warp默认为不启用。

Merger: fix load time of xseg if it has no model files
合成:修复没有模型文件是加载Xseg时间的问题。
————————————————————————————————————————————————————————
2020年7月18日
Fixes
修正

SAEHD: write_preview_history now works faster
现在保存历史图片变快了

The frequency at which the preview is saved now depends on the resolution.
保存的频率取决于模型的像素

For example 64×64 – every 10 iters. 448×448 – every 70 iters.
比如64×64的像素,没10个迭代保存一次,448×448 没70个迭代保存一次。

Merger: added option “Number of workers?”
合成:添加了线程数量的选项。

Specify the number of threads to process.
可以指定线程的数量

A low value may affect performance.
值太低可能会影响性能

A high value may result in memory error.
值太高可能会导致内存错误。

The value may not be greater than CPU cores.
这个值不应该大于cpu内核数量。
————————————————————————————————————————————————————————
2020年7月17日
SAEHD:

Pretrain dataset is replaced with high quality FFHQ dataset.
预训练集换成了高质量的FFHQ数据集。

Changed help for “Learning rate dropout” option:
改变了“Learning rate dropout” 的帮助信息

When the face is trained enough, you can enable this option to get extra sharpness and reduce subpixel shake for less amount of iterations.
当训练足够时,你可以启用这个选项获得额外的清晰度和减少子像素的抖动,从而减少迭代次数。

Enabled it before “disable random warp” and before GAN. n disabled. y enabled
在禁用random warp 和GAN之前启用它, N 禁用,Y 启用

cpu enabled on CPU. This allows not to use extra VRAM, sacrificing 20% time of iteration.
CPU则请用CPU,这样可以不适用额外的VRAM,从而减少20%的迭代时间。

Changed help for GAN option:
修改 GAN选项的帮助信息

Train the network in Generative Adversarial manner.
用GAN训练网络

Forces the neural network to learn small details of the face.
强制神经网络学习面部更小的细节。

Enable it only when the face is trained enough and don’t disable.
只有当对脸部训练重复之后启用,并且不再关闭。

Typical value is 0.1
典型值为0.1

improved GAN. Now it produces better skin detail, less patterned aggressive artifacts, works faster.
改进GAN,现在可以产生更好的皮肤细节,减少图案化的伪影,并且可以更快的工作。

————————————————————————————————————————————————————————
2020年6月27日
Extractor:
提取器

Extraction now can be continued, but you must specify the same options again.
提取可以中断和继续了。但是你必须再次指定相同的选项。

added ‘Max number of faces from image’ option.
添加了“图片中最大人脸数量” 选项

If you extract a src faceset that has frames with a large number of faces,
如果你提取的某个帧中有非常多的人脸

it is advisable to set max faces to 3 to speed up extraction.
建议将最大值设置3,可以加快提取速度。

0 – unlimited
0 表示无限制

added ‘Image size’ option.
添加图片大小选项

The higher image size, the worse face-enhancer works.
图片越大,脸部增强效果越长。

Use higher than 512 value only if the source image is sharp enough and the face does not need to be enhanced.
仅当原图像足够清晰,且不需要增强,才使用高于512的值

added ‘Jpeg quality’ option in range 1-100. The higher jpeg quality the larger the output file size
添加JPEG质量选项,取值范围为1-100,JPEG质量越高,输出文件越大。

Sorter: improved sort by blur and by best faces.
排序:改进了模糊排序和最佳排序。
————————————————————————————————————————————————————————
2020年6月19日
SAEHD:

Maximum resolution is increased to 640.
最高像素调整到640

‘hd’ archi is removed. ‘hd’ was experimental archi created to remove subpixel shake, but ‘lr_dropout’ and ‘disable random warping’ do that better.
HD结构被移除, HD是一个用来解决亚像素抖动的试验性功能,但是‘lr_dropout’和‘disable random warping’ 做得更好

‘uhd’ is renamed to ‘-u’
uhd 已经重命名为-u

dfuhd and liaeuhd will be automatically renamed to df-u and liae-u in existing models.
对于已经存在的模型,软件会自动将dfuhd 和 liaeuhd 重命名为df-u和liae-u

Added new experimental archi (key -d) which doubles the resolution using the same computation cost.
添加一个试验性的结构。同样的配置,可以跑两倍的像素。

It is mean same configs will be x2 faster, or for example you can set 448 resolution and it will train as 224.
这意味着同样的配置,会快两倍,或者原先只能跑224,现在可以跑448

Strongly recommended not to train from scratch and use pretrained models.
墙裂推荐使用预训练模型

New archi naming:
新结构命名:

‘df’ keeps more identity-preserved face.

‘liae’ can fix overly different face shapes.

‘-u’ increased likeness of the face.

‘-d’ (experimental) doubling the resolution using the same computation cost

‘-d ‘(试验性) 相同的配置提升一倍的像素

Examples: df, liae, df-d, df-ud, liae-ud, …

Not the best example of 448 df-ud trained on 11GB:
11GB 训练448的演示,这还不是最佳效果。

Improved GAN training (GAN_power option). It was used for dst model, but actually we don’t need it for dst.
改进了GAN训练(GAN_power选项)。 它之前是用于dst模型,但实际上我们不需要用在dst。

Instead, a second src GAN model with x2 smaller patch size was added, so the overall quality for hi-res models should be higher.
取而代之的是,添加了第二个1/2大小的src GAN模型,因此高分辨率模型的整体质量应该更高。

Added option ‘Uniform yaw distribution of samples (y/n)’:
添加选项Uniform yaw distribution of samples

Helps to fix blurry side faces due to small amount of them in the faceset.
由于侧面中的侧面较少,有助于修复侧面模糊。

Quick96:

Now based on df-ud archi and 20% faster.
默认结构改为df-ud ,速度提升20%

XSeg trainer:

Improved sample generator.
提升实例生成

Now it randomly adds the background from other samples.
现在会随机添加从其他样例中的背景

Result is reduced chance of random mask noise on the area outside the face.
可以降低脸外部的随机噪声

Now you can specify ‘batch_size’ in range 2-16.
现在可以指定bs,取值范围2-16

Reduced size of samples with applied XSeg mask. Thus size of packed samples with applied xseg mask is also reduced.
应用的Xseg遮罩样例变小,所以打包后的素材文件也会变小。
————————————————————————————————————————————————————————
2020年4月15日
XSegEditor: added view lock at the center by holding shift in drawing mode.
XSegEditor:在绘图模式下安装shift键可以在中心添加视图锁定

Merger: color transfer “sot-m”: speed optimization for 5-10%
合并:颜色转移“sot-m”:速度优化5-10%

Fix minor bug in sample loader
修复示例加载程序中的小错误
————————————————————————————————————————————————————————
2020年4月14日
Merger: optimizations
合并:优化

color transfer ‘sot-m’ : reduced color flickering, but consuming x5 more time to process
颜色转换“sot-m”:减少了颜色闪烁,但处理时间增加了5倍

added mask mode ‘learned-prd + learned-dst’ – produces largest area of both dst and predicted masks
添加的遮罩模式“learn prd+learn dst”-生成dst和预测遮罩的最大面积。

XSegEditor : polygon is now transparent while editing
XSegEditor:编辑时多边形现在是透明的

New example data_dst.mp4 video
新的dst视频。

New official mini tutorial https://www.youtube.com/watch?v=1smpMsfC3ls
新的官方教程
————————————————————————————————————————————————————————
2020年4月6日
Fixes for 16+ cpu cores and large facesets.
修复了16+cpu问题,以及大数据集的问题。

added 5.XSeg) data_dst/data_src mask for XSeg trainer – remove.bat
添加脚本

removes labeled xseg polygons from the extracted frames
作用是从已经提取的帧中溢出遮罩信息。

2020年4月5日
Fixed bug with input dialog in Windows 10
修复Window10下面输入对话的问题。

Fixed running XSegEditor when directory path contains spaces
修复了当目录路径包含空格时运行XSegEditor的问题

SAEHD: ‘Face style power’ and ‘Background style power’ are now available for whole_face
SAEHD:全脸类型也可以使用 ‘Face style power’ 和 ‘Background style power’ 这两个参数。

New help messages for these options.
正对如下选项添加了新的提示信息

XSegEditor: added button ‘view trained XSeg mask’, so you can see which frames should be masked to improve mask quality.
XSegEditor:添加view trained XSeg mask按钮,因此,您可以看到哪些帧应该被遮罩以提高遮罩质量。

Merger:
合成
added ‘raw-predict’ mode. Outputs raw predicted square image from the neural network.
添加raw-predict模式,从神经网络输出预测的正方形图像。

mask-mode ‘learned’ replaced with 3 new modes:
遮罩模型中的Learned被一下3个新的模型所替代了:

‘learned-prd’ – smooth learned mask of the predicted face
‘learned-prd’ – 预测人脸的遮罩

‘learned-dst’ – smooth learned mask of DST face
‘learned-dst’ – 目标人脸的遮罩

‘learned-prd*learned-dst’ – smallest area of both (default)
预测区域和dst区域两者的交集。(默认)

Added new face type : head
添加新的脸型:头

Now you can replace the head.
现在可以换头了。

Example: https://www.youtube.com/watch?v=xr5FHd0AdlQ
示例 : https://www.youtube.com/watch?v=xr5FHd0AdlQ

Requirements:
需要:

Post processing skill in Adobe After Effects or Davinci Resolve.
AE和达芬奇等后期处理技能

Usage:
使用:

Find suitable dst footage with the monotonous background behind head
找到合适的dst镜头,背景比较单一那种。

Use “extract head” script
使用“extract head”脚本

Gather rich src headset from only one scene (same color and haircut)
只从一个场景收集丰富的src头像集(需要相同颜色和发型)

Mask whole head for src and dst using XSeg editor
使用XSeg编辑器为Src和Dst标注整个头的遮罩。

Train XSeg
训练Xseg

Apply trained XSeg mask for src and dst headsets
为Src和dst头像应用已经训练好的Xseg遮罩。

Train SAEHD using ‘head’ face_type as regular deepfake model with DF archi. You can use pretrained model for head. Minimum recommended resolution for head is 224.
训练SAEHD模型,脸的类型使用“head” ,结构采用DF。你可以使用Head的预训练模型。建议头部模型的分辨率不低于224。

Extract multiple tracks, using Merger:
使用合成功能合成多个轨道。

a. Raw-rgb

b. XSeg-prd mask

c. XSeg-dst mask

Using AAE or DavinciResolve, do:
使用AE或者达芬奇处理:

a. Hide source head using XSeg-prd mask: content-aware-fill, clone-stamp, background retraction, or other technique
使用Xseg-prd遮罩隐藏源头像:内容感知填充、克隆标记、背景收回或其他技术

b. Overlay new head using XSeg-dst mask
使用XSeg dst蒙版覆盖新的头像

Warning: Head faceset can be used for whole_face or less types of training only with XSeg masking.
警告:人头数据集可用于整脸。或者….这句我没懂….
————————————————————————————————————————————————————————
2020年3月30日
New script:
新脚本

5.XSeg) data_dst/src mask for XSeg trainer – fetch.bat

Copies faces containing XSeg polygons to aligned_xseg\ dir.
拷贝包含Xseg标注的头像到aligned_xseg目录

Useful only if you want to collect labeled faces and reuse them in other fakes.
如果你想要收集这些已经标注的人脸并且应用于其他视频的时候,这脚本会非常有用。

Now you can use trained XSeg mask in the SAEHD training process.

现在已经训练好的Xseg遮罩可以体现在SAEHD训练的过程中。

It’s mean default ‘full_face’ mask obtained from landmarks will be replaced with the mask obtained from the trained XSeg model.
这意味着,以前通过人脸标识获得的全脸遮罩将被Xseg遮罩所替代。

use:
使用方法:

5.XSeg.optional) trained mask for data_dst/data_src – apply.bat
应用脚本

5.XSeg.optional) trained mask for data_dst/data_src – remove.bat
移出脚本

Normally you don’t need it. You can use it, if you want to use ‘face_style’ and ‘bg_style’ with obstructions.
通常情况下你不需要使用它,如果你想要在遮挡中使用Face_style和bg_style,你也可以使用。

XSeg trainer : now you can choose type of face
Xseg训练:现在可以选择脸型了

XSeg trainer : now you can restart training in “override settings”
Xseg训练:现在你可以通过重载设置重新训练。

Merger: XSeg-* modes now can be used with all types of faces.
合成:XSeg-*模型可以应用于所有脸型(值整脸,全脸,半脸这些脸型)

Therefore old MaskEditor, FANSEG models, and FAN-x modes have been removed,
之前的MaskEditor(遮罩编辑器),Fanseg模型,Fan-X模式都已经被移出。

because the new XSeg solution is better, simpler and more convenient, which costs only 1 hour of manual masking for regular deepfake.
因为对于普通的换脸来说,新的XSeg解决方案更好、更简单、更方便。只需要1个小时的时间做手动的遮罩。
————————————————————————————————————————————————————————
2020年3月25日
SAEHD: added ‘dfuhd’ and ‘liaeuhd’ archi
SAEHD: 添加了dfuhd和liaeuhd结构

uhd version is lighter than ‘HD’ but heavier than regular version.
uhd版本比HD更加轻量级,比常规版本更加重量级。

liaeuhd provides more “src-like” result
liaeuhd提供了更加像src的结果
comparison:
比较

liae:

liaeuhd:

added new XSegEditor !
添加新的Xseg编辑器。

here new whole_face + XSeg workflow:
以下为整脸和Xseg的工作流程。

with XSeg model you can train your own mask segmentator for dst(and/or src) faces
使用Xseg模型,你可以自己为Dst脸部训练遮罩分割器

that will be used by the merger for whole_face.
合成的时候会应用。

Instead of using a pretrained segmentator model (which does not exist),
替代了使用预训练遮罩模型的方式(不曾存在过的那种方式,此处是幽默?)

you control which part of faces should be masked.
你可以控制哪一部分应该被遮挡(当然,工作量也大了不少。)

new scripts:
新的脚本。

5.XSeg) data_dst edit masks.bat

5.XSeg) data_src edit masks.bat

5.XSeg) train.bat

Usage:
使用:
unpack dst faceset if packed
数据集如果打包了,请先解压。

run 5.XSeg) data_dst edit masks.bat
运行脚本

Read tooltips on the buttons (en/ru/zn languages are supported)
阅读提示(支持英文,俄语,中文)

mask the face using include or exclude polygon mode.
使用包含和排除的方式标注脸部。

repeat for 50/100 faces,
重复 50到100张脸
!!! you don’t need to mask every frame of dst
无需标注所有帧
only frames where the face is different significantly,
只要关注那些有差异的脸。
for example:
举例
closed eyes
闭眼
changed head direction
改变脸的方向
changed light
改变灯光
the more various faces you mask, the more quality you will get
标注越多,效果越好。

Start masking from the upper left area and follow the clockwise direction.

Keep the same logic of masking for all frames, for example:

the same approximated jaw line of the side faces, where the jaw is not visible

the same hair line

Mask the obstructions using exclude polygon mode.

run XSeg) train.bat
运行脚本

train the model
训练模型

Check the faces of ‘XSeg dst faces’ preview.
查看预览图

if some faces have wrong or glitchy mask, then repeat steps:
如果发现问题,继续以下步骤
run edit

find these glitchy faces and mask them

train further or restart training from scratch

Restart training of XSeg model is only possible by deleting all ‘model\XSeg_*’ files.
只有删除了model\XSeg-*的文件才能重新训练。

If you want to get the mask of the predicted face (XSeg-prd mode) in merger,
如果需要使用predicted face遮罩

you should repeat the same steps for src faceset.
你需要对src数据集重复一样的步骤。

New mask modes available in merger for whole_face:
这个遮罩在合成的时候被应用,仅针对整脸。具体选项如下:

XSeg-prd – XSeg mask of predicted face -> faces from src faceset should be labeled

XSeg-dst – XSeg mask of dst face -> faces from dst faceset should be labeled

XSeg-prd*XSeg-dst – the smallest area of both

if workspace\model folder contains trained XSeg model, then merger will use it,
如果model目录下包含Xseg模型,则被应用。

otherwise you will get transparent mask by using XSeg-* modes.
否则,您将通过使用XSeg-*模式获得透明掩码。

Some screenshots:
一些截图
XSegEditor:

trainer :

merger :

example of the fake using 13 segmented dst faces
一个使用segmented的动态图
https://i.imgur.com/wmvyizU.gifv
————————————————————————————————————————————————————————
2020年3月15日
这个版本主要是加入了Xseg模型,具体操作参考:https://www.deepfaker.xyz/?p=1648

global fixes
全局修复

SAEHD: removed option learn_mask, it is now enabled by default
SAEHD: 移除learn_mask,变为默认启用。

removed liaech arhi
移除 Liaech结构

removed support of extracted(aligned) PNG faces. Use old builds to convert from PNG to JPG.
移除对PNG图片的支持。可以使用老脚本把PNG转成JPG

added XSeg model.
添加XSeg模型

with XSeg model you can train your own mask segmentator of dst(and src) faces
使用Xseg模型,你可以训练你自己的遮罩

that will be used in merger for whole_face.
这个会在合成的时候被应用

Instead of using a pretrained model (which does not exist),
相比于使用一个预训练的模型(不存在的!)

you control which part of faces should be masked.
现在,你可以直接控制哪一部应该是遮罩。

Workflow is not easy, but at the moment it is the best solution
使用过程并不简单。但是当前是最好的解决方案。

for obtaining the best quality of whole_face’s deepfakes using minimum effort
以最小的努力获得整个最佳的整脸替换效果。
without rotoscoping in AfterEffects.
无需AE配合

new scripts:
新脚本

XSeg) data_dst edit.bat
XSeg) data_dst merge.bat
XSeg) data_dst split.bat
XSeg) data_src edit.bat
XSeg) data_src merge.bat
XSeg) data_src split.bat
XSeg) train.bat

Usage:
使用方法:

unpack dst faceset if packed
如果打包了请先解压

run XSeg) data_dst split.bat
运行脚本

this scripts extracts (previously saved) .json data from jpg faces to use in label tool.
这个脚本会玻璃出一个.json 文件。

run XSeg) data_dst edit.bat
运行脚本

new tool ‘labelme’ is used
此时,新的工具labelme将被应用。

use polygon (CTRL-N) to mask the face
Ctrl+n 新建遮罩
name polygon “1” (one symbol) as include polygon
1代表包括
name polygon “0” (one symbol) as exclude polygon
0代表排除

‘exclude polygons’ will be applied after all ‘include polygons’
排除将在包括之后应用

Hot keys:
热键:

ctrl-N create polygon
创建
ctrl-J edit polygon
编辑

A/D navigate between frames
上一个下一个

ctrl + mousewheel image zoom
Ctrl+鼠标滚轮实现缩放。

mousewheel vertical scroll
滚轮可以纵向移动

alt+mousewheel horizontal scroll
alt+滚轮可以横向移动。

repeat for 10/50/100 faces,
重复10/50/100张脸。

you don’t need to mask every frame of dst,
你不需要标注所有的头像

only frames where the face is different significantly,
仅仅处理那些明显不同的即可。

for example:
举个栗子:

closed eyes
闭上眼

changed head direction
改编头部方向

changed light
改变了灯光。

the more various faces you mask, the more quality you will get
你处理的图片越多,获得的效果越好。

Start masking from the upper left area and follow the clockwise direction.
从左上方开始,沿着顺时针方向

Keep the same logic of masking for all frames, for example:
对所有帧都使用相同的屏蔽逻辑,例如:

the same approximated jaw line of the side faces, where the jaw is not visible

the same hair line
Mask the obstructions using polygon with name “0”.

run XSeg) data_dst merge.bat
运行脚本

this script merges .json data of polygons into jpg faces,
这个脚本吧.json文件插入到图片中。

therefore faceset can be sorted or packed as usual.
这样就可以对图片进行排序和打包了。

run XSeg) train.bat
运行脚本

train the model
训练模型

Check the faces of ‘XSeg dst faces’ preview.
查看Xseg预览图

if some faces have wrong or glitchy mask, then repeat steps:
如果有些脸是错误,或者有点小问题,那么重复下面的步骤。

split
剥离

run edit
编辑

find these glitchy faces and mask them
发现有问题的人脸,添加遮罩

merge
合成

train further or restart training from scratch
继续训练或者重新开始训练

Restart training of XSeg model is only possible by deleting all ‘model\XSeg_*’ files.
只有通过删除model\Xseg开头的文件,才能重新训练

If you want to get the mask of the predicted face in merger,
如果你想在合并中得到预期的遮罩,

you should repeat the same steps for src faceset.
您应该对src faceset使用同样的步骤。

New mask modes available in merger for whole_face:
整脸模型在合成的时候会出现想的遮罩参数。

XSeg-prd – XSeg mask of predicted face -> faces from src faceset should be labeled
XSeg-dst – XSeg mask of dst face -> faces from dst faceset should be labeled
XSeg-prd*XSeg-dst – the smallest area of both

if workspace\model folder contains trained XSeg model, then merger will use it,
如果model目录下有XSeg模型。合成的时候就会使用。

otherwise you will get transparent mask by using XSeg-* modes.
否者你会通过Xseg-*模型获得透明遮罩。

Some screenshots:
一些截图。

label tool: https://i.imgur.com/aY6QGw1.jpg
trainer : https://i.imgur.com/NM1Kn3s.jpg
merger : https://i.imgur.com/glUzFQ8.jpg

example of the fake using 13 segmented dst faces
https://i.imgur.com/wmvyizU.gifv

2020年2月28日
Extractor:
提取

image size for all faces is now 512
提取的图片尺寸从256提升到512

fix RuntimeWarning during the extraction process
修复提取过程中出现RuntimeWarning的问题。

SAEHD:

max resolution is now 512
模型参数中,最高像素改成512(32G V100同样表示玩不起)

fix hd arhitectures. Some decoder’s weights haven’t trained before.
修复HD架构,之前一些解码器权重没有被训练到。

new optimized training:
新的优化训练

for every <batch_size16> samples,
对于每个<batch_size
16>样本,

model collects <batch_size> samples with the highest error and learns them again
模型收集误差比较大的样例进行重新学习。

therefore hard samples will be trained more often
因此,比较难的样本被训的更狠。

‘models_opt_on_gpu’ option is now available for multigpus (before only for 1 gpu)
“models_opt_on_gpu”选项现在可用于多显卡(以前仅用单显卡)

fix ‘autobackup_hour’
修复“自动备份时间”


2020年2月23日
SAEHD: pretrain option is now available for whole_face type
SAEHD: 预训练支持“整脸”

fix sort by abs difference
修复abs差异排序

fix sort by yaw/pitch/best for whole_face’s
修复整脸的yaw/pitch/best排序。

2020年2月21日
Trainer: decreased time of initialization
训练:减少初始化时间

Merger: fixed some color flickering in overlay+rct mode
合成:修复overlay+rct模式下的一些闪缩的问题。

SAEHD:

added option Eyes priority (y/n)
添加眼部优先选项

Helps to fix eye problems during training like “alien eyes”
有助于在训练过程中解决“异形眼”

and wrong eyes direction ( especially on HD architectures )
和眼神不对的问题(尤其是在HD架构上)

by forcing the neural network to train eyes with higher priority.
通过强制神经网络以更高的优先级来训练眼睛。

before/after https://i.imgur.com/YQHOuSR.jpg
之前/之后

added experimental face type ‘whole_face’
添加试验性脸型“整脸”。

Basic usage instruction: https://i.imgur.com/w7LkId2.jpg
基本用法说明:

‘whole_face’ requires skill in Adobe After Effects.
整脸需要 AE技能

For using whole_face you have to extract whole_face’s by using
使用整脸你必须提取整脸图片,通过以下两个脚本。

  1. data_src extract whole_face
    and
  2. data_dst extract whole_face

Images will be extracted in 512 resolution, so they can be used for regular full_face’s and half_face’s.
图片会按512像素进行提取。他们同样也适用于常规的全脸和半脸。

‘whole_face’ covers whole area of face include forehead in training square,
整脸涵盖脸部的整个区域包含额头。

but training mask is still ‘full_face’
但是训练遮罩依旧是全脸

therefore it requires manual final masking and composing in Adobe After Effects.
因此需要你通过AE手动遮罩和合成。

added option ‘masked_training’
添加遮罩训练
This option is available only for ‘whole_face’ type.
这个选项仅适用于整脸
Default is ON.
默认开启
Masked training clips training area to full_face mask,
遮罩训练可以把训练区域剪辑到全脸遮罩。

thus network will train the faces properly.
这样网络就可以正确训练脸部

When the face is trained enough, disable this option to train all area of the frame.
当训练足够多的时候,关闭这个选项,让网络去训练所有区域。

Merge with ‘raw-rgb’ mode, then use Adobe After Effects to manually mask, tune color, and compose whole face include forehead.
使用Raw-rgb模式合成,然后使用AE手动遮罩调整颜色,然后合成,这样额头也能被换掉。


2020年2月3日 (DFL2.0)
“Enable autobackup” option is replaced by
启动备份选项被替换为

“Autobackup every N hour” 0…24 (default 0 disabled), Autobackup model files with preview every N hour
几个小时备份一次。

Merger:
合成

‘show alpha mask’ now on ‘V’ button
show alpha mask 的快捷键改成V

‘super resolution mode’ is replaced by
超级分辨率super resolution mode 参数被替换为

‘super resolution power’ (0…100) which can be modified via ‘T’ ‘G’ buttons
超级分辨率supersuper resolution power, 取值范围为0~100,可以通过快捷键T和G进行修改。

default erode/blur values are 0.
默认的erode/blur被设置为0

new multiple faces detection log: https://i.imgur.com/0XObjsB.jpg
新的多脸检测日志: https://i.imgur.com/0XObjsB.jpg

now uses all available CPU cores ( before max 6 )
使用所有的CPU内核,之前最多6个CPU

so the more processors, the faster the process will be.
因此,处理器越多,速度越快


2020年2月1日
Merger:
合成

increased speed
提升速度

improved quality
提升质量

SAEHD: default archi is now ‘df’
SAEHD:默认结构改回df

2020年1月30日
removed use_float16 option
移除use_float16 选项

fix MultiGPU training
修复多卡训练的问题。

2020年1月29日
MultiGPU training:
多卡训练:

fixed CUDNN_STREAM errors.
修复Cudnn的错误

speed is significantly increased.
速度大大提升

Trainer: added key ‘b’ : creates a backup even if the autobackup is disabled.
训练:添加了B键,即使禁用了自动备份,也会创建备份。

2020年1月28日
optimized face sample generator, CPU load is significantly reduced
优化人类样本生成器,CPU复制显著降低

fix of update preview for history after disabling the pretrain mode
修复结束预训练后历史曲线的显示问题。

SAEHD:

added new option
添加新的选项

GAN power 0.0 … 10.0
GAN强度

Train the network in Generative Adversarial manner.
用生成对抗式网络来训练神经网络。

Forces the neural network to learn small details of the face.
强制神经网络学习面部小细节。

You can enable/disable this option at any time,
你可以在任意时间内启用或关闭这个选项。

but better to enable it when the network is trained enough.
但最好的方法是,模型已经训练到无法提升了再启用。

Typical value is 1.0
典型值为1.0

GAN power with pretrain mode will not work.
预训练模型无法启用这个参数。

Example of enabling GAN on 81k iters +5k iters
训练81000次后启用GAN参数,然后在训练5000次的效果

dfhd: default Decoder dimensions are now 48
dfhd: 默认编码器维度是48
the preview for 256 res is now correctly displayed
现在可以正确显示像素为256的预览图

fixed model naming/renaming/removing
修复模型 命名/重命名/移除功能

Improvements for those involved in post-processing in AfterEffects:
为AE后期人员做了功能提升:

Codec is reverted back to x264 in order to properly use in AfterEffects and video players.
视频编码改回x264,以便在AE和视频播放器中正确使用

Merger now always outputs the mask to workspace\data_dst\merged_mask
合成的时候会输出遮罩图。

removed raw modes except raw-rgb
移除了原始模式,仅保存Raw-rgb

raw-rgb mode now outputs selected face mask_mode (before square mask)
Raw-rgb 模式现在输出选定人脸遮罩模式(之前为方形遮罩)

‘export alpha mask’ button is replaced by ‘show alpha mask’.
导出遮罩 export alpha mask 按钮被替换为 show alpha mask

You can view the alpha mask without recompute the frames.
无需重新计算帧就可以查看α蒙版

  1. ‘merged *.bat’ now also output ‘result_mask.’ video file.
    merged *.bat 现在也会输出result_mask视频文件

  2. ‘merged lossless’ now uses x264 lossless codec (before PNG codec)
    merged lossless 现在使用x264无损编码器(之前为PNG 编码器)

result_mask video file is always lossless.
result_mask视频文件始终是无损文件

Thus you can use result_mask video file as mask layer in the AfterEffects.
因此,你可以在AE中将result_mask使用文件作为遮罩层。


2020年1月25日
Upgraded to TF version 1.13.2
TF版本升级到1.13.2

Removed the wait at first launch for most graphics cards.
对大多数显卡而言,首次加载无需得等很久。

Increased speed of training by 10-20%, but you have to retrain all models from scratch.
训练速度提高10%~20%,但是你必须从头开始训练所有模型

SAEHD:

added option ‘use float16’
添加了use float16选项

Experimental option. Reduces the model size by half.
实验选项,模型尺寸将减半!

Increases the speed of training.
提升训练速度

Decreases the accuracy of the model.
降低模型的准确性

The model may collapse or not train.
模型可能会崩溃或者无法训练

Model may not learn the mask in large resolutions.
高像素的遮罩可能无法学习

You enable/disable this option at any time.
你可以随时启用或者关闭

true_face_training option is replaced by
true_face_training 选项被替换为

“True face power”. 0.0000 … 1.0

Experimental option. Discriminates the result face to be more like the src face. Higher value – stronger discrimination.
实验选项,结果更像src,价值更高,辨别力更强!

Comparison – https://i.imgur.com/czScS9q.png
比较图:https://i.imgur.com/czScS9q.png


2019年1月23日
SAEHD: fixed clipgrad option


2019年1月22日
BREAKING CHANGES !!!

重大变更!!!

Getting rid of the weakest link – AMD cards support.
摆脱薄弱环节,不在支持AMD显卡

All neural network codebase transferred to pure low-level TensorFlow backend, therefore
因此,神经网络后端全部使用TensorFlow

removed AMD/Intel cards support, now DFL works only on NVIDIA cards or CPU.
因此删除AMD/Inter显卡支持,现在DFL仅支持NVIDIA卡或者CPU

old DFL marked as 1.0 still available for download, but it will no longer be supported.
老版本的DFL依旧支持下载,但是不在支持!

global code refactoring, fixes and optimizations
全局代码重构,修复和优化

Extractor:
提取

now you can choose on which GPUs (or CPU) to process
现在你可以选择GPUS或者CPU

improved stability for < 4GB GPUs
改进了4G以下显卡的稳定性

increased speed of multi gpu initializing
提升GPU初始化的速度。

now works in one pass (except manual mode)
现在并成了一个步骤

so you won’t lose the processed data if something goes wrong before the old 3rd pass
因此,如果中间出现了问题,并不会丢失所有进度。

Faceset enhancer:
数据集增强

now you can choose on which GPUs (or CPU) to process
现在你可以选择GPU或者CPU

Trainer:
训练

now you can choose on which GPUs (or CPU) to train the model.
你可以选择在GPU或者CPU上训练模型

Multi-gpu training is now supported.
支持多卡训练

Select identical cards, otherwise fast GPU will wait slow GPU every iteration.
选择相同的显卡,否则快速GPU加载每次迭代中等待较慢的显卡

now remembers the previous option input as default with the current workspace/model/ folder.
现在会记住当前工作空间,模型,文件夹这些配置项

the number of sample generators now matches the available number of processors
样本生成器和处理器数量匹配

saved models now have names instead of GPU indexes.
保存模型的时候用名字代替了GPU序号

Therefore you can switch GPUs for every saved model.
你可以为每个模型切换GPU

Trainer offers to choose latest saved model by default.
训练的时候默认使用最后的配置

You can rename or delete any model using the dialog.
你可以通过对话的方式重命名或者删除模型

models now save the optimizer weights in the model folder to continue training properly
模型现在将优化器权重保存在模型文件夹中,以继续正确训练。

removed all models except SAEHD, Quick96
移出所有模型,仅保留SAEHD,Quick96.

trained model files from DFL 1.0 cannot be reused
DFL1.0中训练好的模型文件不能重复使用。

AVATAR model is also removed.
阿凡达模型同样被移出

How to create AVATAR like in this video? https://www.youtube.com/watch?v=4GdWD0yxvqw
如何创建阿凡达请看视频

  1. capture yourself with your own speech repeating same head direction as celeb in target video

  2. train regular deepfake model with celeb faces from target video as src, and your face as dst

  3. merge celeb face onto your face with raw-rgb mode

  4. compose masked mouth with target video in AfterEffects

SAEHD:

now has 3 options: Encoder dimensions, Decoder dimensions, Decoder mask dimensions
现在有三个选项:Encoder dimensions, Decoder dimensions, Decoder mask dimensions

now has 4 arhis: dfhd (default), liaehd, df, liae
现在有四个结构:dfhd (default), liaehd, df, liae

df and liae are from SAE model, but use features from SAEHD model (such as combined loss and disable random warp)
df和liae来至Sae模型,但是使用SAEHD模型中的特性(例如组合损失和禁用随机扭曲)

dfhd/liaehd – changed encoder/decoder architectures
dfhd/liaehd -修改编码器和解码器结构

decoder model is combined with mask decoder model
解码器模型与遮罩解码模型结合

mask training is combined with face training,
遮罩训练和脸部训练相结合

result is reduced time per iteration and decreased vram usage by optimizer
结果是减少了每次迭代的时间,并且减少了VRAM的使用

“Initialize CA weights” now works faster and integrated to “Initialize models” progress bar
现在初始化权重更快,并且集成到了初始化模型精度条中

removed optimizer_mode option
移除 optimizer_mode option 选项

added option ‘Place models and optimizer on GPU?’
添加 在GPU 上放置模型和优化器。

When you train on one GPU, by default model and optimizer weights are placed on GPU to accelerate the process.
当您在一个GPU上进行训练时,默认情况下,模型和优化器权重将放置在GPU上以加速该过程。

You can place they on CPU to free up extra VRAM, thus you can set larger model parameters.
您可以将它们放在CPU上以释放额外的VRAM,从而可以设置更大的模型参数。

This option is unavailable in MultiGPU mode.
此选项在MultiGPU模式下不可用。

pretraining now does not use rgb channel shuffling
预训练现在不支持RGB颜色偏移

pretraining now can be continued
预训练可以继续

when pre-training is disabled:
当预训练不可用时

  1. iters and loss history are reset to 1
    迭代和loss历史被重置成1

  2. in df/dfhd archis, only the inter part of the encoder is reset (before encoder+inter)
    thus the fake will train faster with a pretrained df model
    在df dfhd 结构中,仅重置编码器的内部部分(在 encoder+inter 之前)

Merger ( renamed from Converter ):
合并(由原先的Converter改名而来)

now you can choose on which GPUs (or CPU) to process
你现在可以选择GPU或者CPU来处理

new hot key combinations to navigate and override frame’s configs
新的热键组合可导航和覆盖框架的配置

super resolution upscaler “RankSRGAN” is replaced by “FaceEnhancer”
超级分辨率方法“ RankSRGAN”被“ FaceEnhancer”取代

FAN-x mask mode now works on GPU while merging (before on CPU),
FAN-x遮罩模式现在可以在合并时(在CPU之前)在GPU上工作

therefore all models (Main face model + FAN-x + FaceEnhancer)
因此,所有模型(主脸模型+ FAN-x + FaceEnhancer)

now work on GPU while merging, and work properly even on 2GB GPU.
现在可以在合并时在GPU上工作,即使在2GB GPU上也可以正常工作。

Quick96:

now automatically uses pretrained model
默认使用预训练模型

Sorter:
排序

removed all sort by *.bat files except one sort.bat
一出所有bat文件,仅保留sort.bat

now you have to choose sort method in the dialog
现在你可以通过选项来选择排序方法。

Other:
其他

all console dialogs are now more convenient
所有控制台对话都更加方便

new default example video files data_src/data_dst for newbies ( Robert Downey Jr. on Elon Musk )
新的演示视频换成了钢铁侠和马斯克

XnViewMP is updated to 0.94.1 version
XnViewMP升级到0.94.1

ffmpeg is updated to 4.2.1 version
ffmpeg 升级到4.2.1

ffmpeg: video codec is changed to x265
ffmpeg 视频编码改为x265

_internal/vscode.bat starts VSCode IDE where you can view and edit DeepFaceLab source code.
vscode.bat启动vscode IDE 你可以咋其中查看和编辑DeepFaceLab源码。

removed russian/english manual. Read community manuals and tutorials here
移出俄语和英语手册,教程可以看:

https://mrdeepfakes.com/forums/forum-guides-and-tutorials

new github page design
github页面做了重新设计


2020年1月11日
fix freeze on sample loading
修复加载样例卡主的问题

2020年1月8日
fixes and optimizations in sample generators
修复和优化样例生成

fixed Quick96 and removed lr_dropout from SAEHD for OpenCL build.
修复Quick96,SAEHD模型针对Opencl版本移除了lr_dropout的参数。

CUDA build now works on lower-end GPU with 2GB VRAM:
CUDA版本现在可以运行在低显存(2G+)设备

GTX 880M GTX 870M GTX 860M GTX 780M GTX 770M
GTX 765M GTX 760M GTX 680MX GTX 680M GTX 675MX GTX 670MX
GTX 660M GT 755M GT 750M GT 650M GT 745M GT 645M GT 740M
GT 730M GT 640M GT 735M GT 730M GTX 770 GTX 760 GTX 750 Ti
GTX 750 GTX 690 GTX 680 GTX 670 GTX 660 Ti GTX 660 GTX 650 Ti GTX 650 GT 740


2019年12月29日
fix faceset enhancer for faces that contain edited mask
人脸增强适用于带蒙版信息的图片

fix long load when using various gpus in the same DFL folder
修复在同一DFL文件夹中使用不同gpu时的长负载

fix extract unaligned faces
修复提取未对齐的人脸功能

avatar: avatar_type is now only head by default
阿凡达:默认情况下,阿凡达类型现在只有头部


2019年12月28日
FacesetEnhancer now asks to merge aligned_enhanced/ to aligned/
FacesetEnhancer 现在将aligned_enhanced合并到了aligned/

fix 0 faces detected in manual extractor
修复手动提取为零的问题。

Quick96, SAEHD: optimized architecture. You have to restart training.
Quick96,SAEHD:优化结构,你需要重新训练模型(重要,将不在兼容以前的模型!)

Now there are only two builds: CUDA (based on 9.2) and Opencl.
现在只有两个版了:基于9.2的CUDA和支持AMD的Opencl


2019年12月26日
fixed mask editor
修复遮罩编辑器

added FacesetEnhancer
添加人脸增强脚本
4.2.other) data_src util faceset enhance best GPU.bat
4.2.other) data_src util faceset enhance multi GPU.bat

FacesetEnhancer greatly increases details in your source face set,
FacesetEnhancer可以很好改善图片质量增强细节。

same as Gigapixel enhancer, but in fully automatic mode.
类似Gigapixel正确,但是现在是全自动,省去了很多步骤。

In OpenCL build works on CPU only.
OpenCL版本只能用CPU

before/after https://i.imgur.com/TAMoVs6.png
前后对比图片


2019年12月23日
Extractor: 2nd pass now faster on frames where faces are not found
提取器:第二阶段处理没有人脸的图片更快。

all models: removed options ‘src_scale_mod’, and ‘sort samples by yaw as target’
所有模型移除src_scale_mod 和 sort samples by yaw 参数

If you want, you can manually remove unnecessary angles from src faceset after sort by yaw.
如果你想要,那么根据yaw排序后手动删除不需要的角度

Optimized sample generators (CPU workers). Now they consume less amount of RAM and work faster.
优化样本生成器(CPU玩家) 现在他们消耗更少的RAM,工作更快。

added
新增

4.2.other) data_src/dst util faceset pack.bat
Packs /aligned/ samples into one /aligned/samples.pak file.
After that, all faces will be deleted.
src打包脚本,可以把人类压缩到一个文件里面

4.2.other) data_src/dst util faceset unpack.bat
unpacks faces from /aligned/samples.pak to /aligned/ dir.
After that, samples.pak will be deleted.
src解压脚本,可以把压缩文件解压成图片

Packed faceset load and work faster.
打包后的数据集加载和工作更快。


2019年12月20日
fix 3rd pass of extractor for some systems
针对某些系统,修复提取器的第三阶段提取。

More stable and precise version of the face transformation matrix
人脸转换矩阵更稳定,更精确的版本

SAEHD: lr_dropout now as an option, and disabled by default
When the face is trained enough, you can enable this option to get extra sharpness for less amount of iterations
SAEHD:lr_dropout现在是一个选项,默认情况下处于禁用状态
当面部经过足够的训练后,您可以启用此选项以减少重复次数,从而获得额外的清晰度。

added
4.2.other) data_src util faceset metadata save.bat
saves metadata of data_src\aligned\ faces into data_src\aligned\meta.dat
src 元数据保存

4.2.other) data_src util faceset metadata restore.bat
restore metadata from ‘meta.dat’ to images
if image size different from original, then it will be automatically resized
src 元数据恢复,如果图像尺寸与原始尺寸不同,则会自动调整尺寸

You can greatly enhance face details of src faceset by using Topaz Gigapixel software.
您可以使用Topaz Gigapixel软件极大地增强src面部表情的面部细节。

example before/after https://i.imgur.com/Gwee99L.jpg
演示图:

Download it from torrent https://rutracker.org/forum/viewtopic.php?t=5757118
下载地址

Example of workflow:
使用流程

  1. run ‘data_src util faceset metadata save.bat’
    运行保存脚本

  2. launch Topaz Gigapixel
    运行放大软件

  3. open ‘data_src\aligned\’ and select all images
    选中aligned所有图片

  4. set output folder to ‘data_src\aligned_topaz’ (create folder in save dialog)
    创建一个名为aligned_topaz输出目录

  5. set settings as on screenshot https://i.imgur.com/kAVWMQG.jpg
    you can choose 2x, 4x, or 6x upscale rate
    设置参数,参考图片,可以选择放大倍数。

  6. start process images and wait full process
    开始处理图片

  7. rename folders:
    重命名文件夹
    data_src\aligned -> data_src\aligned_original
    data_src\aligned_topaz -> data_src\aligned

  8. copy ‘data_src\aligned_original\meta.dat’ to ‘data_src\aligned\’
    把meta.dat拷贝到aligned下面

  9. run ‘data_src util faceset metadata restore.bat’
    运行restore脚本

images will be downscaled back to original size (256×256) preserving details
metadata will be restored
图片会缩小到原始尺寸,元数据会恢复。

  1. now your new enhanced faceset is ready to use !
    现在,您可以使用增加后的人脸数据了。

2019年12月15日
SAEHD,Quick96:
improved model generalization, overall accuracy and sharpness
提示模型泛化能力,总统准确性和清晰度。

by using new ‘Learning rate dropout’ technique from the paper https://arxiv.org/abs/1912.00144
使用了新的“学习率下降”问题,参考论文地址:https://arxiv.org/abs/1912.00144

An example of a loss histogram where this function is enabled after the red arrow:
下图演示了启用新的学习率之后的效果。


2019年12月12日
removed FacesetRelighter due to low quality of the result
因为结果不是太理想,因此移除了人造阴影功能FacesetRelighter

added sort by absdiff
添加基于absdiff的排序

This is sort method by absolute per pixel difference between all faces.
这是通过所有脸图之间的绝对每像素差进行排序的方法

options:
选项

Sort by similar? ( y/n ?:help skip:y ) :
根据相似度排序?

if you choose ‘n’, then most dissimilar faces will be placed first.
如果你选择了否(N), 那么会先放置不相同的脸

‘sort by final’ renamed to ‘sort by best’
最终排序改名为最佳排序。

OpenCL: fix extractor for some amd cards
OpenCL(针对A卡) 修复了一些提取的问题


2019年11月14日
Converter: added new color transfer mode: mix-m
转换器:添加了新的颜色转移模式:mix-m

2019年11月13日
SAE,SAEHD,Converter:
SAE,SAEHD转换器

added sot-m color transfer
添加了sot-m的颜色转换选项。

Converter:
转换器
removed seamless2 mode
移出seamless2模式

FacesetRelighter:
数据集阴影

Added intensity parameter to the manual picker.
向手动选择器添加了强度参数。

‘One random direction’ and ‘predefined 7 directions’ use random intensity from 0.3 to 0.6.
“一个随机方向”和“预定义7个方向”使用0.3到0.6之间的随机强度。


== 12.11.2019 ==

FacesetRelighter fixes and improvements:
FacesetRelighter修复和改进

now you have 3 ways:
现在您有3种方法:

  1. define light directions manually (not for google colab)
    手动定义灯光方向(不适用于Google Colab)

watch demo https://youtu.be/79xz7yEO5Jw
查看演示:https://youtu.be/79xz7yEO5Jw

  1. relight faceset with one random direction

  2. 用一个随机方向重新照明面部

  3. relight faceset with predefined 7 directions
    3)使用预定义的7个方向为面部照明


2019年11月11日
added FacesetRelighter:
添加脸部数据集光线处理

Synthesize new faces from existing ones by relighting them using DeepPortraitRelighter network.
通过DeepPortraitRelighter网络对现有面孔添加不同光照来生成新的面孔

With the relighted faces neural network will better reproduce face shadows.
这么做之后可以更好的重现面部阴影。

Therefore you can synthsize shadowed faces from fully lit faceset.
这么一来即便你的数据集没有阴影,也可以合成很好的阴影效果。

as a result, better fakes on dark faces:
使用这个功能后效果更好

operate via
通过操作

data_x add relighted faces.bat
data_x delete relighted faces.bat

in OpenCL build Relighter runs on CPU
在OpenCL中,构建Relighter在CPU上运行


2019年11月09日
extractor: removed “increased speed of S3FD” for compatibility reasons
提取:出于兼容性原因,删除了“ S3FD提速”

converter:
转换:

fixed crashes
修复崩溃的问题

removed useless ‘ebs’ color transfer
移出颜色转换中的ebs

changed keys for color degrade
修改了color degrade的键

added image degrade via denoise – same as denoise extracted data_dst.bat ,
添加图片降噪,和降噪提取差不多。

but you can control this option directly in the interactive converter
但您可以直接在交互式转换器中控制此选项

added image degrade via bicubic downscale/upscale

SAEHD:
default ae_dims for df now 256. It is safe to train SAEHD on 256 ae_dims and higher resolution.
AE_dims默认值改为256,训练SAEHD的时候用256的AE和高像素是安全的。

Example of recent fake: https://youtu.be/_lxOGLj-MC8
最近做的一个换脸视频:https://youtu.be/_lxOGLj-MC8

added Quick96 model.
添加Quick96模型

This is the fastest model for low-end 2GB+ NVidia and 4GB+ AMD cards.
这是一个针对低端显卡的快速模型。适合2GB+的N卡和4GB+的A卡
Model has zero options and trains a 96pix fullface.
模型无需配置,默认训练96显示的全练模型。

It is good for quick deepfake demo.
该模型可以实现快速换脸。(当然牺牲了清晰度和质量)

Example of the preview trained in 15 minutes on RTX2080Ti:
这是用RTX2080TI训练了15分钟的效果。


2019年10月27日
Extractor: fix for AMD cards
提取:修复A卡的问题


2019年10月26日
red square of face alignment now contains the arrow that shows the up direction of an image
面部对齐的红色正方形现在包含显示图像向上方向的箭头

fix alignment of side faces
修复侧面对齐

Before https://i.imgur.com/pEoZ6Mu.mp4
after https://i.imgur.com/wO2Guo7.mp4

fix message when no training data provided
修复没有数据是的提示信息


2019年10月23日
enhanced sort by final: now faces are evenly distributed not only in the direction of yaw,
but also in pitch

增强“最终排序”功能,现在可以的脸部可以在yaw(左右)和pitch(上下)上均匀分布。

added ‘sort by vggface’: sorting by face similarity using VGGFace model.
添加一个vggface排序, 基于VGGFace的相似度排序

Requires 4GB+ VRAM and internet connection for the first run.
需要4G显存,首次使用需要联网


2019年10月19日
fix extractor bug for 11GB+ cards
修复11G显卡提取时候的bug


2019年10月15日
removed fix “fixed bug when the same face could be detected twice”
移除修复“修复相同的脸被提取两次”

SAE/SAEHD:
removed option ‘apply random ct’
移除随意颜色参数‘apply random ct’

added option
添加参数
Color transfer mode apply to src faceset. ( none/rct/lct/mkl/idt, ?:help skip: none )
把颜色转换应用于src数据集。
Change color distribution of src samples close to dst samples. Try all modes to find the best.
改变颜色让src和dst样本更加接近,尝试所有模型找到最好的一种。

before was lct mode, but sometime it does not work properly for some facesets.
之前版本默认用的是lct模式,但是对于有些人脸集合效果不好。


2019年10月14日
fixed bug when the same face could be detected twice
修复相似的脸重复提取的问题。

Extractor now produces a less shaked face. but second pass is now slower by 25%
现在,提取器提取的脸晃动更少。 但是第二阶段慢了25%(我感觉不止)

before/after: https://imgur.com/L77puLH
之前/之后

SAE, SAEHD: ‘random flip’ and ‘learn mask’ options now can be overridden.
SAE,SAEHD模型的 ‘random flip’,’learn mask’ 选项可以中途修改了。

It is recommended to start training for first 20k iters always with ‘learn_mask’
强烈建议前2万迭代开启learn_mask参数。

SAEHD: added option Enable random warp of samples, default is on
SAEHD:添加参数“random warp” ,默认为启用。

Random warp is required to generalize facial expressions of both faces.
“Random warp” 概括两张脸的表情是必需的。(不知道咋翻译)

When the face is trained enough, you can disable it to get extra sharpness for less amount of iterations.
当训练足够的次数之后,您可以禁用它以减少重复次数,这样达到同等清晰度的迭代数次更少


2019年10月10日
fixed wrong NVIDIA GPU detection in extraction and training processes
修复提取和训练N卡的错误识别

increased speed of S3FD 1st pass extraction for GPU with >= 11GB vram.
为11G显卡提示第一阶段速度


2019年10月9日
fixed wrong NVIDIA GPU indexes in a systems with two or more GPU
修复多张N卡序号错误的问题

fixed wrong NVIDIA GPU detection on the laptops
修复了笔记本电脑上N卡检测问题。

removed TrueFace model.
移除了TrueFace 模型

added SAEHD model ( High Definition Styled AutoEncoder )
添加SAEHD模型(高清样式的自动编码器)

Compare with SAE: https://i.imgur.com/3QJAHj7.jpg
与SAE比较https://i.imgur.com/3QJAHj7.jpg

This is a new heavyweight model for high-end cards to achieve maximum possible deepfake quality in 2020.
这是高端卡的新型重量级模型,可以称霸2020年(还能两个月~_)。

Differences from SAE:
与SAE的差别:

  • new encoder produces more stable face and less scale jitter
    新的编码器生成的人脸更新稳定,抖动更少。

  • new decoder produces subpixel clear result
    新的解码器可生成亚像素清晰度的视频

  • pixel loss and dssim loss are merged together to achieve both training speed and pixel trueness
    pixel loss 和dssim loss 已经被合并进去,这样可以提升训练速度和像素真实性

  • by default networks will be initialized with CA weights, but only after first successful iteration
    默认情况下,网络将使用CA权重进行初始化,但仅在首次成功迭代之后

therefore you can test network size and batch size before weights initialization process
因此,您可以在权重初始化过程之前测试网络大小和批次大小

  • new neural network optimizer consumes less VRAM than before
    新的神经网络优化器消耗的显存有所降低

  • added option <Enable ‘true face’ training>
    添加新的训练参数 trueface。

The result face will be more like src and will get extra sharpness.
启用后结果会更像src,并且可以提升清晰度。

Enable it for last 30k iterations before conversion.
启用这个参数最好在最后的3万迭代中。

  • encoder and decoder dims are merged to one parameter encoder/decoder dims
    编码和界面的dims已经合并成一个参数

  • added mid-full face, which covers 30% more area than half face.
    添加了mid-full脸类型,这个类型比半脸多出30%的区域。

example of the preview trained on RTX2080TI, 128 resolution, 512-21 dims, 8 batch size, 700ms per iteration:
实例演示,基于RTX2080ti, 128像素,512-21 dims , BS 8 每个迭代700ms

without trueface : https://i.imgur.com/MPPKWil.jpg
没有使用trueface

with trueface +23k iters : https://i.imgur.com/dV5Ofo9.jpg
使用了trueface


2019年9月24日
fix TrueFace model, required retraining
修复TrueFace 模型,需要重新训练。


2019年9月21日
fix avatar model
修复Avatar模型


2019年9月19日
SAE : WARNING, RETRAIN IS REQUIRED !
SAE : 警告,模型不兼容以往版本。

fixed model sizes from previous update.
针对上一个更新,修复模型大小的问题。

avoided bug in ML framework(keras) that forces to train the model on random noise.
避免了使用keras时随机噪声对模型的影响。

Converter: added blur on the same keys as sharpness
转换:添加锐化模糊。

Added new model ‘TrueFace’. Only for NVIDIA cards.
添加一个叫TrueFace的新模型,该模型仅适用于N卡

This is a GAN model ported from https://github.com/NVlabs/FUNIT
这是一个基于GAN的模型,具体内容可参考英伟达的开源项目FUNIT :https://github.com/NVlabs/FUNIT

Model produces near zero morphing and high detail face.
优点:该模型可以产生高相似度和高清晰度(细节)的人脸。

Model has higher failure rate than other models.
缺点:模型的失败概率远高于其他模型。

It does not learn the mask, so fan-x mask modes should be used in the converter.
它不会学习遮罩,所以在转换的时候应该使用fan-x的遮罩模式。

Keep src and dst faceset in same lighting conditions.
让src和dst的人脸集合保持光照一致。


2019年9月13日
Converter: added new color transfer modes: mkl, mkl-m, idt, idt-m
转换器:添加新的颜色处理方案:mkl,mkl-m,idt,idt-m

SAE: removed multiscale decoder, because it’s not effective
SAE:移除multiscale解码器,因为这东西没鸟用。


2019年9月7日
Extractor: fixed bug with grayscale images.
提取器:修复灰度图像

Converter:
转换器:

Session is now saved to the model folder.
会话现在保存到模型文件夹中了。

blur and erode ranges are increased to -400+400
模糊和侵蚀范围增加到-400 + 400

hist-match-bw is now replaced with seamless2 mode.
hist-match-bw现在替换为seamless2模式。

Added ‘ebs’ color transfer mode (works only on Windows).
添加了’ebs’颜色转换模式(仅适用于Windows)。

FANSEG model (used in FAN-x mask modes) is retrained with new model configuration
FANSEG模型(用于FAN-x掩模模式)通过新的模型配置进行重新训练

and now produces better precision and less jitter
现在可以产生更好的精度和更少的抖动


2019年8月30日
interactive converter now saves the session.
交互式转换器现在会保存会话。

if input frames are changed (amount or filenames)
如果输入帧被更改

then interactive converter automatically starts a new session.
那么交互式转换器会自动启动新会话。

if model is more trained then all frames will be recomputed again with their saved configs.
如果模型训练得更好,那么所有的帧都会用他们保存的配置再次重新计算。


2019年8月27日
fixed converter navigation logic and output filenames in merge folder
修正了转换引导逻辑,以及合成后的输出的文件名

added EbSynth program. It is located in _internal\EbSynth\ folder
添加了EbSynth程序,位于_internal\EbSynth\

Start it via 10) EbSynth.bat
通过10) EbSynth.bat启动

It starts with sample project loaded from _internal\EbSynth\SampleProject
它会从_internal\EbSynth\SampleProject加载示例项目

EbSynth is mainly used to create painted video, but with EbSynth you can fix some weird frames produced by deepfake process.
EbSynth主要用于创建绘制视频,但使用EbSynth,您可以修复由deepfake过程产生的一些奇怪的帧。

使用之前: https://i.imgur.com/9xnLAL4.gifv
使用之后: https://i.imgur.com/f0Lbiwf.gifv
EbSynth的官方教程:https://www.youtube.com/watch?v=0RLtHuu5jV4


2019年8月26日
updated pdf manuals for AVATAR model.
更新了AVATAR模型的PDF手册。

Avatar converter: added super resolution option.
AVATAR转换器:添加超级分辨率选项。

All converters:
所有转换器:

fixes and optimizations
修复和优化

super resolution DCSCN network is now replaced by RankSRGAN
超级分辨率的方案从DCSCN网络换成了RankSRGAN

added new option sharpen_mode and sharpen_amount
添加了新选项sharpen_mode和sharpen_amount

2019年8月24日(模型训练直接报错)
Converter: FAN-dst mask mode now works for half face models.
转换器:半脸模型也可以用Fan-dst。

Added interactive converter.
添加了互动转换器

With interactive converter you can change any parameter of any frame and see the result in real time.
使用交互式转换器,您可以更改任何帧的任何参数并实时查看结果。

Converter: added motion_blur_power param.
转换:添加motion_blur_power参数

Motion blur is applied by precomputed motion vectors.
运动模糊通过应用预先计算的运动矢量实现。

So the moving face will look more realistic.
可以使移动的脸看起来更逼真。

RecycleGAN model is removed.
RecycleGAN模型已经被移出

Added experimental AVATAR model. Minimum required VRAM is 6GB for NVIDIA and 12GB for AMD.
添加阿凡达模型预体验,配置要求6G N卡,或12G A卡。

Usage:
使用方法:

  1. place data_src.mp4 10-20min square resolution video of news reporter sitting at the table with static background,other faces should not appear in frames.
    找一个静态背景,每一帧都只有一个人,方形的新闻播报类视频。片长10到20分钟。

  2. process “extract images from video data_src.bat” with FULL fps
    使用extract images from video data_src.bat脚本全帧率分割视频。

  3. place data_dst.mp4 video of face who will control the src face
    找一个用来控制原始的data_dst视频。

  4. process “extract images from video data_dst FULL FPS.bat”
    使用extract images from video data_dst FULL FPS.bat 脚本全帧率分割视频。

  5. process “data_src mark faces S3FD best GPU.bat”
    使用data_src mark faces S3FD best GPU.bat脚本

  6. process “data_dst extract unaligned faces S3FD best GPU.bat”
    使用data_dst extract unaligned faces S3FD best GPU.bat脚本

  7. train AVATAR.bat stage 1, tune batch size to maximum for your card (32 for 6GB), train to 50k+ iters.
    训练阿凡达模型第一阶段,把BS调整极限(6GB可以调32),训练到5万+迭代

  8. train AVATAR.bat stage 2, tune batch size to maximum for your card (4 for 6GB), train to decent sharpness.
    训练阿凡达模型第二阶段,把BS调整极限(6GB可以调4),训练到足够清晰

  9. convert AVATAR.bat
    使用训练好的模型进行转换

  10. converted to mp4.bat
    将图片合成合成MP4格式的视频

2019年8月16日(有坑勿用,19版亦如是)
fixed error “Failed to get convolution algorithm” on some systems
修复部分系统错误“Failed to get convolution algorithm”

fixed error “dll load failed” on some systems
修复部分系统错误“dll load failed”

model summary is now better formatted
修改模型下面的summary文件的格式,显示更多内容。

Expanded eyebrows line of face masks. It does not affect mask of FAN-x converter mode…
修改脸部遮罩,扩展眉毛部分区域,这个修改不影响Fan-x

ConverterMasked: added mask gradient of bottom area, same as side gradient
转换遮罩:为底部区域添加遮罩渐变。

2019年7月23日
OpenCL : update versions of internal libraries
OpenCL : 更新内部库的版本

2019年6月20日

Enable autobackup? (y/n ?:help skip:%s) :
启用自动备份

Autobackup model files with preview every hour for last 15 hours. Latest backup located in model/<>_autobackups/01
自动备份模型文件,过去15小时每小时一次。备份文件位于model目录下。

SAE: added option only for CUDA builds:
SAE:添加一个针对CUDA的选项

Enable gradient clipping? (y/n, ?:help skip:%s) :
启用渐变剪裁

Gradient clipping reduces chance of model collapse, sacrificing speed of training.
渐变裁剪减少了模型崩溃的可能性,牺牲了训练的速度。

2019年5月20日
OpenCL : fixed bug when analysing ops was repeated after each save of the model

OpenCL:修复每次保存模型就重复出现analysing ops 的问题。

2019年5月10日
fixed work of model pretraining

修复预训练

2019年5月8日
SAE: added new option
SAE:添加新选项
Apply random color transfer to src faceset? (y/n, ?:help skip:%s) :
对Src脸部应用随机颜色转换
Increase variativity of src samples by apply LCT color transfer from random dst samples.
通过应用随机dst样品的LCT颜色转移,来增加src样本的变异性。

It is like ‘face_style’ learning, but more precise color transfer and without risk of model collapse,
这有点象学习’face_style’,但相比之下更准确,没有模型崩溃的风险

also it does not require additional GPU resources, but the training time may be longer, due to the src faceset is becoming more diverse.
同时它也不需要额外的GPU资源,但由于src 变得更加多样化,训练时间可能会更长。

2019年5月1日
SAE: added option ‘Pretrain the model?’
SAE: 添加模型预训练参数

Pretrain the model with large amount of various faces.
用大量的人脸进行预训练。
This technique may help to train the fake with overlay different face shapes and light conditions of src/dst data.
通过覆盖不同的脸部形状和光照条件可能会提升模型效果。

Face will be look more like a morphed. To reduce the morph effect,
用这种方式脸部看起来会有些变形,为了减少这种变形效果,

some model files will be initialized but not be updated after pretrain: LIAE: inter_AB.h5 DF: encoder.h5.
一些模型文件将被初始化但在预训练后不会更新:LIAE:inter_AB.h5 DF:encoder.h5。

The longer you pretrain the mode,lthe more morphed face will look. After that, save and run the training again.
预训练模型的时间越长,变形的脸就会越多。 然后,保存并再次运行模型就会进入常规模式。

2019年4月28日
fix 3rd pass extractor hang on AMD 8+ core processors
修复 提取脸部第三阶段的问题,主要针对AMD 8核CPU

Converter: fixed error with degrade color after applying ‘lct’ color transfer
转换:修复lct下使用degrade color出错的问题。

added option at first run for all models: Choose image for the preview history? (y/n skip:n)
为每个模型添加配置项: 为预览窗口选择图片。

Controls: [p] – next, [enter] – confirm.
控制:[p] -下一个,[enter] – 确认

fixed error with option sort by yaw. Remember, do not use sort by yaw if the dst face has hair that covers the jaw.
修复Yaw模式的排序问题。记住,如果dst脸部有覆盖下巴的头发,请不要使用yaw模式。

2019年4月24日
SAE: finally the collapses were fixed
SAE: 崩溃的问题终于解决了

added option ‘Use CA weights? (y/n, ?:help skip: %s ) :
添加 Use CA weights选项

Initialize network with ‘Convolution Aware’ weights from paper https://arxiv.org/abs/1702.06295.
使用Convolution Aware初始化权重,参考论文:https://arxiv.org/abs/1702.06295.

This may help to achieve a higher accuracy model, but consumes a time at first run.
这也许能够实现高精度模型,但是首次运行会比较慢。

2019年4月23日
SAE: training should be restarted
SAE:模型必须重新训练

remove option ‘Remove gray border’ because it makes the model very resource intensive.
移除了Remove gray border选项,因为他会使得模型非常耗费资源。

2019年4月21日
SAE:
fix multiscale decoder.
修复多尺度解码器
training with liae archi should be restarted
使用liae训练的模型必须重新来过

changed help for ‘sort by yaw’ option:
修改sort by yaw的帮助信息
NN will not learn src face directions that don’t match dst face directions. Do not use if the dst face has hair that covers the jaw.
神经网络不会学习与dst面部方向不匹配的src面部。 如果dst脸部的头发覆盖下颚,请不要使用。

2019年4月20日
fixed work with NVIDIA cards in TCC mode
修复N卡 TCC模式

Converter: improved FAN-x masking mode.
转换器:优化Fan-x 遮罩模式
Now it excludes face obstructions such as hair, fingers, glasses, microphones, etc.
现在能排除那些脸部遮挡了,比如头发,手指,眼镜,麦克风,diao 等!

example https://i.imgur.com/x4qroPp.gifv
演示:https://i.imgur.com/x4qroPp.gifv
It works only for full face models, because there were glitches in half face version.
新功能仅适用于全脸模型,因为半脸版本有毛刺。

Fanseg is trained by using manually refined by MaskEditor >3000 various faces with obstructions.
Fanseg通过使用MaskEditor> 3000手工精制的各种面部障碍物进行训练而成。

Accuracy of fanseg to handle complex obstructions can be improved by adding more samples to dataset, but I have no time for that ?
通过向数据集添加更多样本可以提高fanseg处理复杂障碍物的准确性,但我没有时间:(没有时间:

Dataset is located in the official mega.nz folder.
训练的数据集就在官方mega.nz文件夹中。

If your fake has some complex obstructions that incorrectly recognized by fanseg,
如果你换脸的时候有一些复杂的障碍物被fanseg错误识别,

you can add manually masked samples from your fake to the dataset
你可以手动将你的样本添加到数据集中

and retrain it by using –model FANSEG argument in bat file. Read more info in dataset archive.
然后通过在BAT文件中添加 –moel FANSEG 参数重新训练。更多内容请看数据集。

Minimum recommended VRAM is 6GB and batch size 24 to train fanseg.
训练fanseg的推荐配置为,显存6GB,BS 24
Result model\FANSeg_256_full_face.h5 should be placed to DeepFacelab\facelib\ folder
训练完后需要将model\FANSeg_256_full_face.h5 放到DeepFacelab\facelib\替换同名文件。

Google Colab now works on Tesla T4 16GB.
谷歌云笔记本现在的配置是Tesla T4 16GB
With Google Colaboratory you can freely train your model for 12 hours per session, then reset session and continue with last save.
你可以使用谷歌云笔记本训练模型,但是回话会最多只能持续12小时,然后环境会重置。

2019年4月06日
添加试验性的蒙版编辑器
更新SAE,更新之后不支持老的模型。
更新SAE,大大降低了模型崩溃的可能性。
更新SAE,提高了模型的准确性。
更新SAE,Residual blocks 成为默认配置,移除了配置选项。
更新SAE,提升了learn mask
更新SAE,添加了遮罩预览(按空格键切换)。
更新转换器,修复seamless 模式下的rct/lct。添加一个mask mode选项: learnedFAN-prdFAN-dst
修复在非预览模式下Ctrl+C 退出的问题。

蒙版编辑器说明

它的创建是为了改进FANSeg模型,但你可以尝试在换脸中使用它。
但请记住:它并不能保证质量的提高。
使用方法:
运行 5.4) data_dst mask editor.bat

编辑那些DST脸部中有障碍物的遮罩。
使用 ‘learn mask’ 或’style values’训练SAE
截图预览: https://i.imgur.com/SaVpxVn.jpg
使用蒙版编辑训练和合并的结果: https://i.imgur.com/QJi9Myd.jpg
复杂的遮罩更难训练。

2019年3月31日
修复seamless模式的脸部抖动
删除两个配置选项,分别是 Suppress seamless jitter 和 seamless erode mask modifier.
seamlessed face现在正确使用模糊修饰符(不懂。。。机翻)
添加选项’FAN-prd&dst’ – 使用相乘的FAN prd和dst遮罩(不懂….机翻)
2019年3月26日
修改SAE模型,移除了轻量级编码器(lightweight encoder)。
修改SAE模型,继续训练的时候可以修改optimizer mode这个选项了。
修改训练过程,损失线现在显示保存后的平均损失值
修复转换过程中没有没有脸拷贝文件的问题。
升级图片预览工具XNViewMP
修复 cut video.bat 路径带空格的问题。
2019年3月24日
修改SAE模型,修改后老得SAE模型将不再适用于新的版本
修复SAE的BUG,解决一段时间后崩溃的问题。
修改SAE模型,移除了 CA weights , encoder/decoder dims,这三个选项。
新增模型参数,Encoder dims per channel,Decoder dims per channel,Add residual blocks to decoder,Remove gray border
新增提取参数,Output image format? 输出图片格式可选JPG 和PNG
参数的一些说明:

Encoder dims per channel (21-85 ?:help skip:%d)

编码器选项,数值越大就能识别越多的面部特征。但是需要更多的显存,您可以微调模型大小以适合您的GPU

Decoder dims per channel (11-85 ?:help skip:%d)

解码器选项,数值越大,细节越好。但是需要更多的显存,您可以微调模型大小以适合您的GPU

Add residual blocks to decoder? (y/n, ?:help skip:n) :

这些残余块助于获得更好的细节,但需要更多的计算时间。

Remove gray border? (y/n, ?:help skip:n) :

删除预测面的灰色边框,但需要更多的计算资源。

Output image format? ( jpg png ?:help skip:png ) :

视频转图片,输出可选文件格式jpg或png.

PNG是无损的,但它生成的图像大小为JPG的10倍。

JPG提取速度更快,尤其是在HDD硬盘上。

2019年3月21日
修复OpenCL版本,支持更多的显卡。
修复了SAE在一段时间内可能出现崩溃的问题,新版不支持老版本的model,也就是老丹白练了。
添加选项Use CA weights 使用“Convolution Aware”权重初始化网络。这可能有助于实现更高精度的模型,但在首次运行时会消耗时间。
移除过时的DLIB提取器,建议使用S3FD 提取器,能大大提高精度。
更新转换器,添加针对全脸模型的Mask。
Mask模式:(1) learned, (2) dst, (3) FAN-prd, (4) FAN-dst (?) help. Default – 1 :

Learned :如果训练模型的时候选Learn maks那么转换的时候就选这个,这个选项换脸后轮廓相当平滑,但可能摇摆不定。
Dst ?:源脸的原始Mask,摇晃的轮廓。
FAN-prd : mask from pretrained FAN model from predicted face. 非常光滑而不会摇晃的轮廓。
FAN-dst : mask from pretrained FAN model from dst face. 非常光滑而不会摇晃的轮廓。

FAN优点: 光滑而不会摇晃的轮廓

FAN缺点:如果脸部受阻,可能会在轮廓上产生伪影

下载:magnet:?xt=urn:btih:A148C2178F87F9195EB3A90FD519B651EDA42C58

2019年3月13日
新增SAE模型配置项Optimizer mode, 这是低配N卡人群的福利参数。
Epoch term 名字改成 iteration term.
训练过程在控制台显示时间。
Optimizer mode? ( 1,2,3 ?:help skip:1) : (选项说明)
1 – default. (默认)
2 – allows you to train x2 bigger network, uses a lot of RAM. (网络翻倍, 使用一部分内存)
3 – allows you to train x3 bigger network, uses huge amount of RAM and 30% slower.(网络x3,使用跟多内存,降速30%)

Optimizer mode 这个参数和核心用意,是为了解决显存不够OOM的情况。在同等显卡配置下,可以通过将这个参数设置为2或3提高神经网络的复杂度。换句话说,低配显卡能运行相对复杂的神经网络。再直接点说,就是你之前的配置跑不了,通过这个配置就能跑了。

下载:magnet:?xt=urn:btih:C363301FCF40D8A3F99B8CC5153603526678B08C

2019年3月11日
对于CUDA10.1用户,需要更新你们的想卡驱动
添加新的脸部提取方法S3FD- 更加精确,减少错误,提取更快
优化DLib,提示第一阶段的速度。
优化所有提取器,减少“假脸”。
优化手动提取器,添加了“h”按钮以隐藏帮助信息
优化安装包,减小APP与系统Python之间的冲突。
删除不需要的控制台信息,看起来更加简洁明了
下载:magnet:?xt=urn:btih:DBA1FFD2EECE6F9AD672CE1AD1C5BD3F6A0637D1

2019年3月7日
发布了三个预编译版版本(CUDA9.2 SSE,CUDA10.1AVX,OpenClSSE)
SSE版本的CDUA从9.0升级到9.2
AVX版本的CUDA从10.0升级到10.1
Python升级到python 3.6.8
缩减了预编译安装包,删除一些无用文件,安装体积变小。
说明: 主要是版本依赖升级,并不修改核心代码。这三个预编译的集成板都有自己适用的范围。

SSE 低配版,针对低配低CUDA版本的NVIDIA卡,最高到 GTX1080 和64为CPU。
AVX 完全版,支持安装最新CUDA10.1的NVIDIA卡,适用于支持AVX指令的NVIDIA RTX和CPU。
OpenCL兼容版,支持AMD/IntelHD 显卡和所有64位CPU
下载地址:magnet:?xt=urn:btih:34528CAEE3077C86C155DE0DA116403785E3EE41

2019年3月4日
首次划分成三个版本(CUDA9 SSE,CUDA10AVX,OpenClSSE)
从原先固定CPU到使用所有CPU
灰度梯度求均值,优化合成视频效果。
更新每个版本requirements文件
修改multiscale_decoder默认值为NO
加入Python版ffmpeg
版本说明:

SSE 低配版,针对低配低版本NVIDIA卡
AVX 完全版,高配NVIDIA卡
OpenCL兼容版,支持A卡,支持CPU。
下载地址:magnet:?xt=urn:btih:4CCAA5D3A0E02C5079B28A3567EFFB9A49BAEDCD

2019年3月1日
修复seamless模式合成视频抖动的问题
2019年2月28日
优化提取器
优化排序工具,可以自定义最终脸部数量
优化转化器,修复seamless
修复提取,如果不具备系统要求,着退回CPU处理。
升级到 cuda 10.0, cudnn 7.4.1, tf 1.13.1, dlib 19.16.0

2019年2月22日
软件重构,涉及多个文件
优化手动提取,可获取高质量jpg面部数据
优化排序工具,对于N卡,A卡,集成卡需要的可用内存从512降到256。
SAE模式优化,脸部像素范围扩展至64~256 ,可以训练高像素图片。
………………


申明:图文均由deepfakes 中文网原创,转发请注明出处,谢谢!

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
  

闽ICP备14008679号