DeepFaceLab3:AMP模型的训练和应用
今天直入主题,主要讲一讲如何训练AMP模型以及如何应用到DeepFaceLive之中。
模型的训练
训练主要可以分两种方式:常规训练和复用训练
常规训练
常规训练流程如下:
这个流程就是我们之前讲的常规流程,只是训练的模型换成了AMP,并且还少了一些步骤。因为最终我们将要应用到DeepFaceLive中,所以常规流程中的应用模型和合成视频就不需要了。
这种训练方式就单次应用来说会省很多时间。但是如果需要训练不同的对象,那么每次重新开始就会比较费时间。 所以从长期使用的角度来说,使用复用训练会更好。大量素材训练的复用模型合成效果也会比较好。
复用训练
复用训练流程如下:
这个流程的操作思路是先对大量人脸进行训练,然后再训练具体的人。为了实现这个操作需要如下步骤。
\1. 将软件自带RTM WF faceset数据集放到源目录的aligned下面。
\2. 点击“ 6) 训练AMP模型 源对源 train AMP SRC-SRC.bat ” 开始训练,训练个几百万次。
\3. 删除模型文件夹中的_AMP_inter_dst.npy文件
\4. 然后按执行上图中的2-8步骤。
注意和常规步骤相比,这里多了Xseg泛型和SRC-SRC的处理。应用Xseg泛型是为了使用默认的遮罩模型给src和dst应用遮罩,SRC-SRC是给模型打基础。
模型的应用
训练的差不多了,就可以使用这个模型了。训练的环节主要由DeepFaceLab完成,而应用主要是在DeepFaceLive上。DeepFaceLive可以笼统的称为直播换脸软件,本质上这个软件只是实现了实时换脸的功能,真正直播推流还需要其他软件配合。所以说这个Live理解为实时比较合适。DeepFaceLive我们可以称之为实时换脸软件。
模型的应用可以分为两部分:导出和导入。
模型导出
导出的过程其实就做了tf2onnx的转换,具体操作是:
\1. 先点击 6) 导出AMP模型 export AMP as dfm.bat 批处理文件
\2. 选择需要导出的模型,回车,回车,等待片刻。
\3. 找到模型
成功导出的模型,放在model文件夹下面,后缀为.dfm 。
模型导入
导入模型也非常简,就是拷贝“amp_AMP_model.dfm” 文件到DeepFaceLive相应的文件夹即可。
具体路径为:DeepFaceLive\userdata\dfm_models
模型导入成功之后就可以启用实时换脸软件了
软件启动,稍作设置就是这个样子了。
这是使用软件自带的模型的效果,使用我们自己训练的模型,只需要修改Face Swapper 下面的Model即可。
DeepFaceLive已经是高度集成的可视化软件了,操作基本没啥难度,所以功夫主要还是在DeepFaceLab这一边。
下一篇介绍一下DeepFaceLive的具体操作。
文中提到的复用模型,我的素材和遮罩已经优化完了,训练到200万后会放到tonyhub中,因为素材比较多200万只是起步,我会继续练,继续更新。大家也可以自己在公共素材的基础上去优化,然后慢慢训练。
DeepFaceLab3系列