直播丹跑了六十万次loss还1.5

sg3rom

五折 发表于 2024-1-22 16:08
七八千、不超1..2W

你们是用fanda的切脸工具去重的吗...刚才视频切出来10w,我就直接丢进去了

七八千素材你们一般跑多久，谢谢

sg3rom

wtxx8888 发表于 2024-1-22 14:03
你这是跑预训练吧？不是预训练的话，十万的SRC简直无语。。。
BS 16下的十万素材量，没有500万的迭代，你 ...

500W * 1s（迭代）=2个月？

wtxx8888

sg3rom 发表于 2024-1-22 18:59
500W * 1s（迭代）=2个月？

一个半多月，BS 24下才到LOSS 0.7，这才4万5的图片量。
你十万的图量，BS 16下，目测千万迭代，都到不了LOSS 0.3。
十万的量从LOSS 1.3开始，就要一天24小时才掉0.01。1.0开始差不多要两天才能掉0.01.
越低需时越久，每次差不多要比上一个0.01，要多七分之二的耗时。
等到LOSS 0.7时，掉0.01差不多要三天多。。。。

wtxx8888

sg3rom 发表于 2024-1-22 18:59
500W * 1s（迭代）=2个月？

所以，，不是什么人都能自己炼丹的，没有挂几个月机的耐性，这么多的图，你还是放弃吧

sg3rom

wtxx8888 发表于 2024-1-22 21:39
所以，，不是什么人都能自己炼丹的，没有挂几个月机的耐性，这么多的图，你还是放弃吧 ...

我觉得删AB ,src头像去重，是不是还能抢救一下？

wtxx8888

sg3rom 发表于 2024-1-23 02:42
我觉得删AB ,src头像去重，是不是还能抢救一下？

减少图片量吧~不是预训练的话，SRC十万也是醉了

haohmaru

wtxx8888 发表于 2024-1-22 21:29
一个半多月，BS 24下才到LOSS 0.7，这才4万5的图片量。
你十万的图量，BS 16下，目测千万迭代，都到不了LO ...

我滴天，最近在用DFL标准版本跑一个320WF-416-104-104-34的模型，2080TI魔改22g的水冷显卡，loss现在0.2多，10小时下降0.03左右，现在是步骤6，我都开始准备跳到下一步了，是不是应该回头到第四步（开扭曲不开真脸的那个步骤，当时也是下降的比较慢，半天0.02的那种，但一直在下降）重新练。SRC是手动挑的基本全角度320分辨率单人2000张，所有mask都查过没问题，DST是基本手动挑选的高矮胖瘦10几人混合的5000张全角度320分辨率，BS开到10，参数开的少可以开到12，如果8888大佬看到的话请指点一下，需不需要继续练到loss彻底不下降。还有怎么样的loss就算不下降了，谢谢。
PS：我电脑房间的温度一直27度，外面20度。这主机发热真给力，从去年9月开始接触AI ,电脑除了升级显卡就没关过。自己瞎琢磨，走了很多弯路

wtxx8888

haohmaru 发表于 2024-5-11 23:33
我滴天，最近在用DFL标准版本跑一个320WF-416-104-104-34的模型，2080TI魔改22g的水冷显卡，loss现在0.2 ...

额，没有彻底降不了一说，LOSS下降，是双倍递减，即当天24小时能下降0.1，那明天同BS下，只能降0.05，后天是0.025，减速就是这样递减半数的，自己类推。
至于LOSS到底要多低，个人意见是，开着扭曲开着嘴眼，LOSS到 0.25以下，基本就可以了，如果有追求的，那就到0.1，但耗时是巨长的。

haohmaru

wtxx8888 发表于 2024-5-12 00:12
额，没有彻底降不了一说，LOSS下降，是双倍递减，即当天24小时能下降0.1，那明天同BS下，只能降0.05，后天 ...

谢谢解答，我以前小模型是到0.2左右就下一步，感觉换完也可以接受，脸不抖，边界融合也不错，光影也基本对，嘴巴的活动和说的话也能对的上。就是眼神方向不满意， 这下心里有底了。另外，昨天翻论坛，看到你有一个ME版本移植到标准版的高loss特训，试了一下，CPU应该是直接干满了，风扇直接狂转，没仔细看就去睡觉了。早上发现死机重启了，只能回复原版，下午回家发现又死机了，估计是model里的参数没改过来，然后重新换改版，再把参数关了，现在正常了，CPU小于50%，温度不超50度，风扇随便转转就可以了。请教一下，开你那个特训的话，CPU怎么能占用小一点，我是i5-8500，以前用1660-6g显卡，16g内存，虚拟内存用的M2固态。换了2080魔改22g显卡，其他没换，估计CPU有瓶颈，要不要把主板CPU也换了。现在320高参模型最多BS开12，一般开10，迭代时间1-2秒

wtxx8888

haohmaru 发表于 2024-5-12 14:23
谢谢解答，我以前小模型是到0.2左右就下一步，感觉换完也可以接受，脸不抖，边界融合也不错，光影也基本 ...

CPU占用高，是你素材解析度，与丹的解析度，差距过大的问题（如素材1024，丹256，CPU会疯狂实时缩放，素材与丹同大小，CPU一般不会超过百分之30）。
高LOSS专训时，CPU对比原来的正常状态，是持平不会有任何增加，尤其高LOSS那一下，CPU负载更是会降低，看起来就像是卡顿了一下。