底丹基础上，增加针对性训练，能提高练专丹的效率吗

ntremok

例如，我一般用来换脸的视频大概有30个，这30个视频是不同人的，
我将这30个视频全部切脸，做成一个dst多人训练集。
然后我找一个非常好的底丹，
加入这个dst多人训练集对练，src、dst都放这个，
然后按照预训练丹的流程，训练到最清晰，得到新的底丹，
然后更换src为个人，训练个人专丹，dst不变，继续用这个多人训练集

这个新底丹的目标是训练不同专丹时，减少dst每次都要训练的时间
也就是我先把dst训练好了，到练专丹的时候，我只更换src就好了

方案一：
1、底丹+（针对性dst多人训练集，相同dst、src）对练，得到新的底丹
2、得到新底丹后，dst不变，将src更换为个人src
方案二：
1、底丹+（针对性dst多人训练集+个人src）对练

方案一比方案二，多了一个（针对性dst多人训练集，相同dst、src）对练的步骤
这个步骤能够加快模型的成像时间吗？
还是，可能会破坏旧底丹的数据，并且不会减少多少时间？

五折

预训跟正训如果都用同一套DST会有训练结果不像SRC的风险。其实LZ可以找个很小很轻的丹自己测试一下

ntremok

五折 发表于 2023-12-8 21:51
预训跟正训如果都用同一套DST会有训练结果不像SRC的风险。其实LZ可以找个很小很轻的丹自己测试一下 ...

看其他人的说法，只要个人src不出现在dst多人训练集里面，似乎是可以减少这种风险的

july

我这么测试过
把src和src对炼
然后换不同的dst，效果也很好。你可以试试

tomshom

SRC脸型不够，可以用DST的脸型训练过来作为SRC脸型

ntremok

july 发表于 2023-12-9 09:08
我这么测试过
把src和src对炼
然后换不同的dst，效果也很好。你可以试试

这样练的话
适用性应该不会很高吧
如果脸型差异大的话，边缘应该容易出现瑕疵吧

除非每次换dst，也训练一下，再合成
如果是这样的话，也有点麻烦啊

tomshom

我知道楼主要搞大事了，主要是SRC的素材，特别是表情和角度要多，有个好方法，就是用换脸小程序，找一些视频换脸，很快，再切成SRC素材，多了一些角度

ntremok

tomshom 发表于 2023-12-12 19:06
我知道楼主要搞大事了，主要是SRC的素材，特别是表情和角度要多，有个好方法，就是用换脸小程序，找一些视 ...

谢谢你的建议。
如果有效的话，应该可以稍微增加一些角度
不过，这些角度，dfl也可以达到吧，甚至，应该会比那些小程序效果真实一点吧

llon7

-木兰教程里面的一段话: “不建议⽤连续单⼈套图素材做预训练，容易过拟合，导致模
型特征偏向性出⾊，泛化能⼒差，实际应⽤效果表现差。”
其实我也有一个20多位樱花老师的dst集，当初想加入预训，在二群里问过，管理回复不要加入预训..
但我觉得，如果目标视频就是这几位dst的作品的话，牺牲掉泛化，获得更换src后训练速度也值得一试。

ntremok

llon7 发表于 2023-12-13 15:00
-木兰教程里面的一段话: “不建议⽤连续单⼈套图素材做预训练，容易过拟合，导致模
型特征偏向性出⾊，泛化 ...

大概明白了，似乎就是可能会造成过分训练，导致模型失去活力