【探讨】关于GAN合适开启，是否可逆，复开？

Lau9

我最近在测试1024WF一天能到多少loss。

图片少的情况下大概是到0.5~0.4吧

顺便做了疯狂的测试，

在测试前，我有疑问：

1.gan应该在什么阶段开？

2.开gan是否不可逆？

3.关gan或者删除gan文件，画面会有什么变化？

4.中途修改gan的强度，会有什么影响？

5.如果早期开gan，然后不管什么原因停了很长时间（包括新增素材）。那么再次开启gan的时候又会如何？

先思考再看结论。以下是过程：

这张图的时候，我就开始gan=0.1了！然后训练了几小时后停止。

对了，这里插播一个知识点：

开gan之后，loss下降的很慢 但确实有在稳定下降，每次save的时候loss降低0.001的幅度，

不管是在loss=0.5还是在loss=0.09的阶段，都能做到这个幅度的稳定下降。

下面是统一模型关了gan之后的训练

（并非接着上图继续，注意看迭代数大概从6000~8000的这段来做对比），

即同阶段，上图从0.4363到了0.4346，下图从0.4415到0.4012

不开gan的loss下降的速度起码是10倍。

咱们先得出【问题1】的答案：当loss下降幅度低于0.01的时候就要准备开gan了

接下来也是重头戏，就在我关闭gan训练到最后五官分明的时候，重新把上面那眼窝糊成一团黑的gan打开，你猜猜咋地？

不是SRC-SRC

右图是复开gan前最后一次保存的图

左图是把早期严重的污水gan重新启用，未迭代的样子（效果出乎意料的好，对吧）

不用怀疑，我做了其他多次实验，也是一样的结论：

【问题2】的答案：开gan可逆，只要模型不崩，素材没错误，慢慢训练，细节是可以越来越好的

【问题5】的答案：如果早期开gan，然后不管什么原因停了很长时间（包括新增素材）。那么再次开启gan的时候它的效果差不到哪去

问题3：图片我就不放了，你们随便找个有gan的模型比如热巴试一试会更有说服力

【问题3】的答案：根据我的试验，删gan或者gan=0是一样的结果。模型不会坏掉，而是皮肤纹理没了，变得油光了。

并且你随时把gan文件复制到model文件夹下，它都能恢复到最好状态。

问题4：中途把gan每隔几个小时就改成0.1，0.3，0.1，0.01，0.3，0.1这样反复折腾

【问题4】的答案：至少我的实验经验是：第一个数值只是用来调整笔刷大小，只影响合成而不影响训练！

后面的数值或许才是影响学习数据的储存。

拿PS打个比方：gan图层是覆盖在脸之上的图层，图层的像素内容就是同一张纹理图，而gan强度代表的是混合强度，它是可以左右拖动的（0~100%）

有不对的地方请用代码或实验截图来交流！我只是抛砖引玉，在看代码之前先感知有形的东西，才能更好的理解。

五折

1.gan应该在什么阶段开？

当你的模型已经不再明显变好/当你不想再磨下去了，就可以开gan

2.开gan是否不可逆？

关掉参数删掉对应的文件即可

3.关gan或者删除gan文件，画面会有什么变化？

gan产生的细节丢失

4.中途修改gan的强度，会有什么影响？

除了gan自身的变化，没有其他影响

5.如果早期开gan，然后不管什么原因停了很长时间（包括新增素材）。那么再次开启gan的时候又会如何？

再次打开等于gan的部分接着练

GAN——生成对抗网络，这个算法本来就是无中生有的算法，（伪）随机生成一些细节，通过判别器来识别之后抛弃无用细节，所以开启GAN会增加资源消耗进而影响训练速度。

以上仅为一家之言，欢迎批评指正，谢绝杠精和喷子

dobestzhou

止痛药水 发表于 2023-12-19 10:24
GAN-生成对抗网络
训练阶段，SRC有痣，睫毛清晰，牙齿缝清晰，但训练预览图这些细节还没练出来。
开GAN， ...

我现在也遇到和你同样的困惑，训练了26万步了，但牙齿缝和睫毛不明显。

ntremok

ntremok 发表于 2023-12-19 23:00
佩服楼主，你精力好旺盛啊，有精力搞那么多尝试！

我前一段时间才遇到这个问题

应该搞清楚原因了，就是gan应该也要开眼嘴的，因为如果不开眼嘴的话，眼睛会慢慢失去焦点。
我会在gan的最后阶段，再次打开眼嘴跑一段时间

ntremok

佩服楼主，你精力好旺盛啊，有精力搞那么多尝试！

我前一段时间才遇到这个问题
我的gan是从0.001开始，到0.01，到0.1，到0.2，到0.35，
每次都跑了2、3万以上，总共20万左右
0.35的时候，预览图是最清晰的，但我合成之后，皮肤太干、太粗糙了，完全没有皮肤水灵的效果，
然后，我把gan关掉，跑了一万左右，又变得模糊了
然后，我把gan再打开，开0.01、0.001，跑了几万，再合成。
结果之前0.35时，皮肤那种粗糙的感觉，还是一样的，只是浅了一点
所以，我觉得gan开大了，再改小，应该是会有负面影响的

于是，我把gan文件删掉，重新gan0.01、0.001分别跑了一万多
发觉0.01的清晰度比不上0.001的，
然后我就继续跑0.001的，又跑了5万
结果合成之后，跑多5万的，清晰度反而比不上跑了一万多的
于是我就草草结案，停止训练了，就用这个gan0.001一万多的，就算了
所以，还是要盯紧一点，跑多了，不见得效果就好

还是有多点合成，预览图很清晰，但合成之后，效果不一定是合适的

暴走萝莉

这种技术探讨应该多点，学到东西

Lau9

止痛药水 发表于 2023-12-19 10:24
GAN-生成对抗网络
训练阶段，SRC有痣，睫毛清晰，牙齿缝清晰，但训练预览图这些细节还没练出来。
开GAN， ...

gan训练方式不同，会练出来但是很慢（只适合补细节），所以要在时机合适（大后期）介入比较好。你介入早了也不会造成不副作用，只是会浪费时间

独孤求败

生成对抗网络GAN，英文全称Generative Adversarial Network
GAN的主要结构包括一个生成器G（Generator）和一个判别器D（Discriminator）

生成器G，对于生成器，输入需要一个n维度向量，也就是我们素材的 SRC
判别器D，就图片的真伪标签，也就是我们素材的 DST

以上简约介绍大至GAN工作原理
而DF训练则是处于一种对抗博弈状态
一真一伪之鉴别

因此src之素材，例如张三此人增加其素材，那么GAN模型不受影响，仅为累加
如果换了src素材为李四，那么这个 GAN 模型是无效的，直接可以删除了，不具覆用性

止痛药水

五折 发表于 2023-12-19 01:59
1.gan应该在什么阶段开？

当你的模型已经不再明显变好/当你不想再磨下去了，就可以开gan

GAN-生成对抗网络
训练阶段，SRC有痣，睫毛清晰，牙齿缝清晰，但训练预览图这些细节还没练出来。
开GAN，是不会把这些细节GAN出来的，GAN只对现有的细节加强，是不能凭空把睫毛，痣，牙缝这些GAN出来，我这个理解对吗折折

Lau9

五折 发表于 2023-12-19 01:59
1.gan应该在什么阶段开？

当你的模型已经不再明显变好/当你不想再磨下去了，就可以开gan

你是我的知音！完全get到了！