【神农】【头模】DF-640-HEAD

Lau9

附带：一套head泛化训练集dst（带头发带脖子女性8000张）、头的xseg遮罩模型
两者接来源于国外论坛。

模型参数：高分辨率低三围，12GB显存可以BS4来跑。
迭代数保密（你不会知道我究竟重置了几次计数器）

                               
登录/注册后可看大图

注意事项：
1.需要用神农DFL训练。
2.建议是一换一的视频丹，直播丹我没把握。
3.已经尽最大努力去预训到这个程度了。
你要是自己开一个这么低AE的丹是肯定没耐心练到这样的 性别、表情、光影 的泛化。


题外话：
1.我觉得数字人 尤其是无背景的生成式数字人，会被快手旗下的2个最新产品抹杀。
2.wav2lip首当其冲，取而代之的是emo类模型，其实也包含了上述的产品或开源。
3.别忘了，别靠deepface来替换脸型以及五官位置，这部分应该在剪映完成！直播的话应该用【无他相机】调整脸型。
4.我认为dfm和codeformer、GFPGAN是同一个萝卜坑的。
在使用生成嘴型（生成视频类属于同一个萝卜坑，包括wav2lip这类，或者可灵、sora、runway）之后，
仍需要超分。而dfm的一致性明显优于codeformer。
所以结论是：dfm在将来一两年内的作用可能不在于换脸或融合，而在于五官及皮肤一致性的高清ip训练（512以上）

独孤求败

这要很强大的机器，我直接放弃。。。
没这种设备呢

黑羽毛

厉害了！我的哥！

Lau9

独孤求败 发表于 2024-7-11 18:25
这要很强大的机器，我直接放弃。。。
没这种设备呢

还好，24G显存可以跑