【探讨模拟超分】低分辨率换脸后，再套一层高分辨率换脸

Lau9

假设你有1024分辨率的热巴SRC，

训练阶段：

先训练一个DF256的万能模型，DST很多，需要大量的迭代，但好在每次迭代的耗时很短。主要是为了泛化性换脸。

再训练一个DF1024超分模型，SRC放热巴1024脸，DST放同样的脸，但是降分辨率到256。由于不泛化，这里的loss应该会下降的很快，很容易出效果。把GAN也开上吧！

合成阶段：

先用DF256把任意的dst换脸成模糊的热巴
再用DF1024二次合成，把热巴清晰化。


这个实验我已经做了，是128分辨率超分到640，模型训练了很久，正在出牙缝睫毛。





目前已经20+w迭代了，单图的牙缝退化，但是泛化性增强了许多。
预计最迟在周一将会上传这个640模型。我10G的显存可以跑BS=10，我相信2G显存跑BS=2也是有可能的。
请期待本模型的出售。由于大分辨率迭代特别慢，价格会略高，就64吧！
只能试玩超分玩法，不能商用！到时候我会简单介绍一下如何使用，千万别污染了dst



还有另外一个帖或许更具有通用性，但是纯3d人头的dst光影很差，我已尽力去给它松土了。
思路是：先用一个中间件模型作为src，把你的dst转化为标准的3d大众脸。然后用你的真脸src模型对练这个中间件dst。
过程是：真实dst[任意分辨率] → 中转标准脸[128~256分辨率] → 真实src[640~10240分辨率]

我昨天了解了一下，现在一亿像素的相机也不贵，比正常单反多一倍价格。拍出来是10000x10000像素，直接怼脸特写，好不好玩！
我预计双卡A100是能够跑WF10000的模型的。如果说2G显卡都能跑1024...

暴走萝莉

提督的专研精神+999，实验室走起

独孤求败

Lau9 发表于 2023-12-16 14:40
WF1024我也练过，可以的，但是更慢！而且我手头没有那么高细节的图片。如果640的反馈好，下次我再开个1024 ...

A100 80GB PCIe 和 A100 80GB SXM 后者更猛
跑 512 没压力，我用 H100 跑过 768 模型
感觉上 512 就很足够到位了

Lau9

ntremok 发表于 2023-12-17 19:16
佩服！就是要这样搞才会有新的东西出来

你这个超分，是不是跟无损放大差不多呢？

不太一样，专人专用的可以新增微小细节，而不仅仅是抗锯齿

ntremok

佩服！就是要这样搞才会有新的东西出来

你这个超分，是不是跟无损放大差不多呢？
下面这个网址可以直接变成4倍
https://waifu2x.udp.jp/index.zh-CN.html

kwk

虽然有点听不懂 但是大为震撼 感觉是一次思路的创新

july

这个可以达到补全素材的效果吗，比如LZ测试下糊的大角度，看看相似度如何

Lau9

WF1024我也练过，可以的，但是更慢！而且我手头没有那么高细节的图片。如果640的反馈好，下次我再开个1024的丹