关于显卡方面的问题

陈斯文 · 发表于 2024-9-23 21:08:48

之前用了个12g显存的显卡跑模型特别慢，单次训练时间五六千ms，现在换成24g显存的怎么单次时间还是五六千ms？

难不成跑这个显存没有那么重要，重要的是显卡的带宽或者核心频率？

陈斯文 · 发表于 2024-9-23 21:13:22

最离谱的是啥，12显存跑的时候显存吃满100%，换成24g的还是能吃满，结果速度还是一样慢。离谱啊，真是百思不得其解

july · 发表于 2024-9-24 10:16:19

速度不看显存的，否则M24这种几百块的洋垃圾都能和上万4090一教高下了
速度看显卡算力

陈斯文 · 发表于 2024-9-24 11:59:18

july 发表于 2024-9-24 10:16
速度不看显存的，否则M24这种几百块的洋垃圾都能和上万4090一教高下了
速度看显卡算力 ...

怪不得，那为啥不管多大显存他都能吃满，他既然速度没加快但是显存比以前多吃了12G，这个显存用来干嘛了

july · 发表于 2024-9-24 14:02:38

陈斯文发表于 2024-9-24 11:59
怪不得，那为啥不管多大显存他都能吃满，他既然速度没加快但是显存比以前多吃了12G，这个显存用来干嘛了{ ...

可以开更高的BS

DFL · 发表于 2024-9-25 18:43:38

陈斯文发表于 2024-9-24 11:59
怪不得，那为啥不管多大显存他都能吃满，他既然速度没加快但是显存比以前多吃了12G，这个显存用来干嘛了{ ...

同模型、同bs条件下比较才有意义；算力低，就算显存更大，速度也未必提升。

pasanonic · 发表于 2024-9-25 21:24:54

cuda处理器越多算例越大