查看: 2765|回复: 10

[已解决] 训练时每迭代几次就会停顿(卡顿)一次

[复制链接]

122

积分

6

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
122
发表于 2022-12-25 10:54:46 | 显示全部楼层 |阅读模式
问题已解决,差点把CPU换了(尼玛)。先说原因:训练素材的分辨率高于模型分辨率

仔细看了一遍滚石的教程https://dfldata.xyz/forum.php?mod=viewthread&tid=642&extra=page=1,发现这么一段话:
     模型分辨率介绍:要用256以上的分辨率模型。
       128-256,要是16的倍数

看了这段话后我用 5.2) data_dst util faceset resize 和 4.2) data_src util faceset resize 按照模型分辨率重新调整了素材分辨率,卡顿的问题解决了。当素材分辨率和模型分辨率一致时,CPU基本不上班。看来是不用换CPU了。

再次感谢滚大的教程。

-----------------------------------⬇原文⬇-------------------------------------------
不知道什么时候开始出现的情况,可能一直都有,但今天才发现,在训练模型的时候,迭代速度以“快快快快慢”这样的速度循环。
比如说在某参数下,第一次迭代时长为300ms,第二三四次也是300ms,第五次就会停顿,然后显示几千ms,然后又是300ms,如此循环。
试过把参数调低或者调高,但是都有这么一次停顿,且停顿时间与参数成正比,大概是快的时候的十倍时长。

循环体为 "快快快快慢"      增加虚内、重装系统、换成最新版英文软件、换模型皆无法改变这种情况,我以为他本该是匀速迭代的。
经过我的观察,停顿时恰好是CPU占有率高的时候。可models_opt_on_gpu我一直都是开着的。
1.jpeg
Zhatv换脸论坛免责声明
全站默认解压密码:zhatv.cn
【Zhatv】论坛里的文章仅代表作者本人的观点,与本网站立场无关。
所有文章、内容、信息、资料,都不保证其准确性、完整性、有效性、时效性,请依据情况自身做出判断。
因阅读本站内容而被误导等其他因素所造成的损失责任自负,【Zhatv】不承担任何责任。

131

积分

7

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
131
发表于 2022-12-25 11:03:39 | 显示全部楼层
试验了一下。如果分辨率对上了,单个DFL软件在训练时CPU占用率不会超过百分之20。
我双开DFL,BS拉到最高,CPU占用率平均也就是百分之三四十。
这才是正常的。

                               
登录/注册后可看大图


                               
登录/注册后可看大图
回复

使用道具 举报

120

积分

6

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
120
发表于 2022-12-25 11:24:56 | 显示全部楼层
用的比你这3100还差的cpu一代的1400,同样的4c8t,也是一样的情况,目前在考虑是不是cpu太差了,打算换5800或者5900
回复

使用道具 举报

61

积分

1

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
61
发表于 2022-12-25 11:28:02 | 显示全部楼层
CPU的锅,换一个吧
回复

使用道具 举报

127

积分

7

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
127
发表于 2022-12-25 11:36:59 | 显示全部楼层
不太懂应该没啥问题吧,我好像也出现guo z y
回复

使用道具 举报

97

积分

4

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
97
发表于 2022-12-25 11:44:12 | 显示全部楼层
你再看看GPU显存占用情况吧。这种情况一般是哪个地方出现瓶颈了。这个模型参数还是挺高的。
回复

使用道具 举报

94

积分

6

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
94
发表于 2022-12-25 11:54:41 | 显示全部楼层
低参也是几步一停。。GPU持续满载。貌似是最近才有的情况。最奇怪的是,Liae丹状况好得多!这是最怪的,在问题解决之前只能用LIAE丹了,太头疼了。
回复

使用道具 举报

86

积分

4

帖子

70

符石

筑基丹师

Rank: 2Rank: 2

积分
86
发表于 2022-12-25 12:02:17 | 显示全部楼层
有这方面的考虑了,兄弟用的啥CPU,感觉怎么样
回复

使用道具 举报

6万

积分

13

帖子

544

符石

论坛元勋

Rank: 60Rank: 60Rank: 60Rank: 60

积分
61015

论坛元老咸鱼勋章

发表于 2022-12-25 17:20:06 | 显示全部楼层
我也遇到过同样的问题 我以为显卡有问题了,给卖了,后来才知道是素材分辨率太高了,1024以下的都可以,我用的是2048的,那时候差点把我折腾死
回复

使用道具 举报

962

积分

14

帖子

502

符石

元婴丹师

Rank: 4Rank: 4Rank: 4Rank: 4

积分
962
发表于 2022-12-25 22:07:20 | 显示全部楼层
我试试我的,感觉也有这种情况
回复

使用道具 举报

小黑屋|ZhaTV ( 滇ICP备15003127号-4 ) |网站地图

GMT+8, 2024-11-24 21:11

Powered by Zhatv.cn

© 2022-2023

快速回复 返回顶部 返回列表