|
简介
基本流程如下：
视频切帧没有特别需要注意的地方，主要在素材的准备、提取脸部、训练和合成上会有一些问题。
素材篇
素材分为src素材和dst素材，dst素材一般是指定好的，所以下面的都是对src素材而言的。
去哪里找抖音，快手，哔哩哔哩，Youtube，还有高清电影电视剧。如何下载这些视频很容易搜索到。
提取帧使用DFL的脚本提取即可。参数FPS输5~10就足够了。太多的话会导致重复的过多。 提取帧有两种格式，JPG和PNG。PNG属于无损格式，但体积较大。JPG体积小，图像质量会有一点损失。
src素材质性标准要把非目标人脸给删掉，直接从文件夹里删除即可。可以使用sort.bat后更方便地筛选。
- 清晰度 尽可能清晰
- 光线 特别暗的建议不要留，可以保证一定的复杂度。
- 遮挡 最好选脸部没有遮挡的素材
- 角度 越丰富越好
- 表情 越丰富越好，最关键的是眼睛和嘴巴
- 妆容 角色妆容的差别最好不要太大，比如嘴唇颜色，眉毛，素颜or浓妆
- 数量 在满足上述要求的情况下5000到10000就可以
图片去重可以使用软件VisiPics，网上下载，先选择文件夹，然后选择阈值等级，进行扫描，最后选中来删除或移动重复图片。
提取脸部篇提取脸部提取脸部可以采用两种手段，一种是直接使用DFL的脚本，另一种是使用MVE（machine video editor）软件。
使用DFL脚本先调用脚本data_* faceset extract.bat提取脸部。 如果是src素材，直接删去data_src/aligned文件夹下出错的图片即可。 如果是dst素材，将debug文件夹下不正常的图片删掉，再调用脚本data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG.bat进行手动重新提取。 这里的手动还是属于使用算法提取，并不是手动画人脸的关键点。所以有时候会遇到手动也无法处理的情况。这时候就要用到MVE了。
使用MVE
遮罩处理何为遮罩（mask）？遮罩就是一个0/1矩阵，目标区域值为1，非目标为0。合成的时候用遮罩可以面部一些不想被替换的地方如眼镜、刘海等。 DFL的遮罩有两种模式，一种是换脸模型里的多边形mask，另一种是XSeg。多边形mask是在提脸时就写入了图片里的，训练换脸模型时也会进行训练。XSeg则是另外一套相对独立的体系。需要在素材上画遮罩区域，训练XSeg模型，然后进行合成时进行应用。 如果是比较精细的换脸，需要使用XSeg遮罩。 同样的，XSeg也有两种方式，一种是使用DFL自带的脚本，一种是使用MVE
使用DFL脚本主要是调用以下脚本进行XSeg的操作
最上面的两个使用软件自带的模型进行应用。 下面的就是字面意思了。如果调用下面的几个，需要按照edit、train、apply的顺序进行操作。也就是先画遮罩、训练XSeg模型、应用XSeg模型的顺序。 画XSeg遮罩的时候，只需要挑一些比较关键的画就可以了。 使用MVE画遮罩也是比较推荐用MVE，因为可以方便地进行预览，不像DFL只能一张一张地看。而且提供了比DFL本身更加方便的方式。
训练篇训练不要从0开始训练，要基于预训练的模型，一个好的预训练模型可以大大节省训练时间，并且在面部表情、注视方向上有奇效。同时，最终效果的第一位是素材，预训练模型的好的迁移性也来源于其素材。
训练参数说明创建模型时才可以设置的参数1. model architecture：模型结构，有LIAE和DF两种，LIAE对光影的处理比较好，DF在保留SRC的特征上比较好。
2. face type：只需要知道f是到眉毛的小脸，wf是包括额头的整张脸，head包含整个头部。一般情况下都用f/wf，head很少，几乎见不到head的模型。
3. resolution：分辨率，也就是模型输出图像的分辨率。
4. Encoder dimensions：编码器维度。
5. Decoder dimensions：解码器维度。
6. AutoEncoder dimensions：中间层维度，中间层是网络中连接编码器和解码器的部分。
7. Decoder mask dimension：遮罩解码器维度，影响学习到的遮罩质量。
训练过程中可调整的参数1. Batch Size：这个要根据机器的性能来决定，可以从8开始，往下降或往上升。
2. Masked Training：建议全程开启，学习的是XSeg遮罩内的内容。
3. Blur out mask：看到有人说是用来模糊背景，以改善训练效果，不是特别确定。
4. eyes_mouth_prio：优先训练眼部和嘴部区域，但这个并不能训练眼睛注视方向，只是眼睛和嘴的逼真程度。
5. Random Warp：随机扭曲，在训练前期启用。
6. Uniform Yaw：将src和dst按照YAW角排序后输入模型，而不是随机取样，有助于学习不同角度的面部轮廓。
7. learning rate dropout：这个在模型训练中比较常见，为了防止过拟合，以及能够进入到一个半径小的谷底，建议是先不开训练一段时间，之后再开启来达到更低的loss值。
8. face style power：一般用0.001训练，逐步往上升，太大容易崩。
9. color transfer mode：这个颜色转换建议脸部光影颜色复杂的时候不要开，开了容易使人的脸上出现色块，但是看别的地方的教程是推荐开的。
10. GAN：增加判别器，以使生成的图像更逼真，gan power一般从0.1开始，开GAN的时候其他选项都可以关掉了。
11. gradient clipping：梯度裁剪，可以全程开启，可以防止崩溃，开GAN之后一定要开启。
12. pretraining mode：如果已经进入正训就不要再开了。
通用训练步骤有一个思想，先不开lr_dropout训练，loss值稳定之后，打开lr_dropout训练
masked training，gradient clipping全程开启，如果想开color transfer的话也可以一直开着
第一阶段：开RW，开UY，训练到loss值在0.4-0.6
第二阶段：开RW，开UY，开lr_dropout，使loss值降到更低
第三阶段：关RW，关lr_dropout，关UY，开启face style power0.001、eye_mouth_prio
第四阶段：开lr_dropout，开GAN 0.1，关face style power，关eye_mouth_prio，一直训练直到loss值很低
如何预训练在训练时开启pretrain即可，可以看一下bat文件的数据路径在哪里。注意：预训练的素材不需要是同一个人的，光影越复杂，越清晰越好。有一个比较好的数据集是FFHQ，不过里面大部分是外国人，可以积累自己的预训练数据集。 预训练完成后，开始正式训练时，会出现pred那一列与dst一样或近似的情况（应该是src的脸），这时候不用担心，继续训练就好，迭代个几万次就正常了。
| 
发表于 2023-11-11 22:59:27
提升卡
置顶卡
沉默卡
变色卡
照妖镜
楼主