【新手必看】DFL通用炼丹流程

五折

老手请自动略过，本文仅针对不熟悉炼丹过程中各个步骤开启时机的新人

群里找到个文档，但是步骤中个参数开启/关闭的对比看着太费眼所以自己整理成图表了：

表格中背景色为深色的格子，表示此参数较上一阶段发生了变化，需要注意

精细步骤如下（原文档没留下姓名）

DF模型：首先准备好预习练好的模型，或成品模型，和质量很好的SRC人脸集和随机DST人脸集（多人，人脸全扔进dst里边即可，只能拿来训练，若要合成请训练完成后，删除掉多余人脸只留下单人）。所有成品模型训练的原SRC不是自己所用的SRC，liae模型均删除xx_SAEHD_inter_AB.npy文件当作预训练模型处理。xx_SAEHD_inter_AB.npy前面的xx是你自己的模型名字。除去真脸选项均可按照下方来练
第一快速成型阶段：
开启：遮罩训练:Masked training  ,
开启或关闭：SRC随机反转:Flip SRC faces randomly，(SRC素材不足的开，足够的和有脸部特征，比如美人痣之类的不要开SRC反转。)
开启：DST随即反转：Flip DST faces randomly，
BS值：推荐4或8（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
关闭：侧脸优化Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用AdaBelief 优化器?：Use AdaBeliefoptimizer?
关闭：学习率下降Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples，
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1，并模型自动保存3-4次时的loss值显示下降速度很慢，或者反弹时可以停止。

第二精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用AdaBelief 优化器?：Use AdaBeliefoptimizer?
关闭：学习率下降Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
保持参数训练loss值降的很少，或反弹停止。

第三精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?关闭：学习率下降 Use learning rate dropout.
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
训练loss值降到0.3及以下，或降的很少或反弹，停止。

第四精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
开启：学习率下降 Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
训练loss值降到0.1及以下，或降的很少或反弹，停止。

第五精确优化阶段：
这时loss值已经下降很慢，或者下降不下去并且看起来不足够像SRC，进行这一步
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
关闭：侧脸优化Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
关闭：学习率下降Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
（此阶段开启：模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了：真脸强度 True face' power，如果RSC脸型没有DST脸大，就会出现SRC脸下巴，下面又有个DST的下巴，或者SRC侧脸边上又有个DST的侧脸。开启这两个参数，会让融合的更好。）
此阶段loss值下降过慢或下不去后停止

第六精确优化阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
关闭：学习率下降Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段loss值下降过慢或下不去后停止

第七精确优化阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
关闭：学习率下降Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段loss值下降过慢或下不去后停止

第八精细处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐16（根据实际情况而定）
关闭：眼嘴优先:Eyesand mouth priority
关闭：侧脸优化Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
开启：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 选择值：0
开启：GAN强度 GAN power  推荐值：0.01
关闭：真脸强度True face' power   选择值：0
关闭：背景风格强度 Background style power 选择值：0
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段注意备份，以免崩溃。代送次数最少2W-3W，根据实际情况而定。

完成阶段：
所有阶段完成后平时换视频使用以下参数
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：UseAdaBelief optimizer?
关闭：学习率下降Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0.01
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度True face' power   选择值：0
开启：背景风格强度 Background style power  选择值：0.01
开启：颜色转换模式 Color transfer for src faceset  选择值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练

TopKi

另外，开启“学习遮罩之外的区域，以帮助边缘抹平”，取值0.5，似乎对刘海有一定增强作用，在使用XSeg，侵蚀取“-130”，羽化“30”，可以覆盖目标额头部分，并很好地与原发型融合。此方法适用于照片换脸，不适合视频换脸。但是如果配合AE，则可以用于部分视频换脸。

ronld

相当完整 迷雾中的明灯

ronld

那么正好把liae模型真脸选项也总结一下添加在第几部呢

五折

ronld 发表于 2023-2-2 02:43
那么正好把liae模型真脸选项也总结一下添加在第几部呢

所谓通用就是没写的默认为不开，没有的参数默认不用

Jason

给力给力

kinjia

我为你痴为你迷，我给哥哥举大旗

koosun

大佬，我看到所有步骤都避开了“嘴眼优先”和“学习率下降”同时开启的情况，这是需要留心遵守的选项吗？还是说根据情况选择？比如说嘴眼源素材齐全就可以同时开启、不全就不要同时开？

davio

koosun 发表于 2023-6-25 21:59
大佬，我看到所有步骤都避开了“嘴眼优先”和“学习率下降”同时开启的情况，这是需要留心遵守的选项吗？还 ...

这份教程是给新手看的，老手可以随意调整开关顺序，硬件足够的情况下全开都行

koosun

davio 发表于 2023-6-26 03:57
这份教程是给新手看的，老手可以随意调整开关顺序，硬件足够的情况下全开都行 ...

好的，没这讲究的话我就稍微大胆点去组合了

mtmc

太详细了，非常有用，感谢