模型训练之Loss值概念、意义及技巧

jjontheway

不少从事模型训练工作的朋友常常会陷入一种困境，即察觉到模型效果不尽人意，却又茫然于从何处着手进行判断与改进。而本篇文章将分享模型效果的关键判断依据，通过具体的数值呈现来判断反映潜在问题，并进一步提供具有针对性的有效解决策略，助力突破效果瓶颈，提升模型训练的成效。

Loss值概念
Loss值是反映的目标图像和预测图象之间的差异，注意这个差异是自身重建图像和目标图像之间的差异。所以间接反映的是能够把原图重建出来的准确度。但是Loss值并不能直接反应模型的优劣。


Loss值意义
模型评估：Loss 值是评估模型性能的重要指标。一般来说，Loss 值越小，说明模型的预测结果与真实结果越接近，模型的性能就越好。例如，在训练图像分类模型时，较低的 Loss 值意味着模型能够更准确地将图像分类到正确的类别中。
指导训练过程：模型训练的目标是最小化 Loss 值。在训练过程中，优化算法（如梯度下降法）会根据 Loss 值对模型的参数进行调整。具体来说，计算 Loss 值关于模型参数的梯度，然后按照梯度的反方向更新参数，使得模型在训练数据上的 Loss 值逐渐减小。例如，在神经网络训练中，每次迭代都会计算 Loss 值，并根据 Loss 值的梯度更新神经网络的权重。
总结：Loss 值作为评估模型性能的关键指标，在模型训练过程中具有举足轻重的地位。在训练素材以及各项训练参数设置均保持恒定的条件下，Loss 值理应呈现出总体上逐渐递减的态势。这一递减趋势表明，在训练进程中，模型正借助梯度持续地进行自我更新与优化，逐步朝着正确的方向迈进，从而不断提升模型的准确性与有效性，为实现高质量的模型训练成果提供了坚实可靠的保障与直观的判断依据。

降低loss值要点：
1.        src素材质量筛选，去掉模糊，其他人脸或者不均一的脸部特征，如浓妆、特效；
使用XFaceKit-Lab软件，设置批量筛选参数，去掉模糊和其他人脸。


2.        遮罩识别错误，误差较大；使用XFaceKit-Lab自动写入遮罩，对于错误遮罩用遮罩编辑器进行编辑修改后保存。



3.        模型训练参数的有效设定；使用XFaceKit-Train打开随机翻转素材、允许扭曲扩充素材、遮罩内训练，先点开嘴眼优先，然后根据训练效果调试。

降低loss值技巧：
更换素材：更换素材之后Los之会发生变化。如果素材之间内差异很大，或者和模型之前学习的素材差异很大，Loss值会变高。和模型之前学到的素材差异小，则Loss变小。
素材增强：启用随机翻转、颜色增强、或者随机扭曲、缩放等选项之后，素材会进行随机改变增加输入数据的多样性，这样也或导致Loss值升高。
只训练遮罩内区域：只训练遮罩内区域这个选项开启之后，程序会只是对遮罩内的区域计算像素差异损失，总Loss值会降低很多。
嘴眼优先选项：启用该选项之后，对嘴巴和眼睛区域的像素差异，乘以数十倍后加入总体Loss值，所以总Loss会发生较大变化
启用GAN：生成对抗网络启用后，会额外增加一个loss项到总Loss中，所以Loss值也会升高。
优化器选项：比如学习率、bs对loss值没有影响，但是对于loss更新速度会有影响。

免费下载使用：www.xfacekit.com

wtxx8888

说一个，第一次运行软件的小白，都能看懂的，LOSS值？

july

这个是货真价实的大佬。
希望多分享科普贴，感谢！

ntremok

优化算法（如梯度下降法）……
----------------------------------------
这么说打开梯度，对于模型的训练是很有价值的咯
之前看到有人说，打开梯度会降低学习的能力，所以，我一般都不会打开梯度
也有人说，扭曲初期不开，等扭曲开眼嘴时再开。

按照你的看法，是全程都开，还是在什么阶段开比较好呢？
关闭扭曲之后再开，是不是好点

独孤求败

ntremok 发表于 2024-12-18 05:32
优化算法（如梯度下降法）……
----------------------------------------
这么说打开梯度，对于模型的训练 ...

self.options['clipgrad'] = io.input_bool
啟用漸層裁剪，也是通俗说的梯度
这个项目参数通常位于设定的最后面
开启梯度有助于模型不剧烈波动
如同把猛兽关进笼子里乖乖的驯服
然而缺点也明显，能发挥的空间被局限于笼子里
启用梯度训练的时间会若干增加,可确保模型稳定性不容易炸丹
关闭梯度，反著来说，把猛兽放进大草原尽情发挥，模型能力学习能力强
但容易挂了。。。
开启与否这需要你的经验判断，模型波动过剧容易色斑，这时可以考虑开启，直到稳定才关闭
这里有一个要特别注意！！
一旦关闭梯度等同把猛兽从笼子里放出，初期很容易极大波动炸丹
得务必做好备份后才关闭梯度，否则模型波动落差大非常危险!!


一般而言要嘛全程关闭要嘛全程开启，一开一关你得有好技术阿!

ntremok

独孤求败 发表于 2024-12-18 16:05
self.options['clipgrad'] = io.input_bool
啟用漸層裁剪，也是通俗说的梯度
这个项目参数通常位于设定的 ...

感谢大佬的指点

我遇到过必须开梯度的时候，就是练了好几十万的时候，数据不会动了，
开启梯度之后，数据才重新开始动了
要不就是高bs、或者gan的时候，就需要开启，否则就会炸丹

ntremok

bs对loss值没有影响，但是对于loss更新速度会有影响
--------------------------------------------------------------
我看到一些朋友说【bs大，人脸可以快速增加相似度，但是容易产生更多不自然的表情和五官，
bs小，人脸学习速度更慢，但是细节会更贴近目标】

你认为这个说法正确吗？
如果正确的话，是不是bs小，虚影就会更小？

ntremok

独孤求败 发表于 2024-12-18 16:05
self.options['clipgrad'] = io.input_bool
啟用漸層裁剪，也是通俗说的梯度
这个项目参数通常位于设定的 ...

模型正借助梯度持续地进行自我更新与优化，
逐步朝着正确的方向迈进，不断提高模型的准确性与有效性
---------------------------------------
按照楼主以上的说法，开启梯度的话，应该是在不断地优化数据，
对于训练模型的质量及效率是有帮助的

结合大佬你的说法，
所以，在一个恰当的时机，开启梯度，可能是有价值的
（我之前试过全程不开梯度的，gan也不开）

wtxx8888

ntremok 发表于 2024-12-18 18:11
bs对loss值没有影响，但是对于loss更新速度会有影响
--------------------------------------------------- ...

你先搞明白，所谓的虚影，是怎么来的.
这是SRC跟DST，脸型差距过大，造成的必然结果。
SRC的脸，只要小于DST的脸，就必有虚影。
原理是，SRC小，要变得DST那么大，边界就会被拉扯。
见过拉面条没？越拉越细。
到DFL的图像上，就是边界的颜色（SRC面部遮罩的边界），越拉越淡（类似涂抹），就是你所谓的虚影。
跟BS，能扯上啥关系？

ntremok

wtxx8888 发表于 2024-12-19 20:23
你先搞明白，所谓的虚影，是怎么来的.
这是SRC跟DST，脸型差距过大，造成的必然结果。
SRC的脸，只要小于D ...

我遇到过非常多次，bs4改bs8、12虚影马上增大，
不管是开扭曲，还是关扭曲。
当然，如果跑到最后，练成之后，它们的虚影是一样的，那就跟bs无关
目前我还没有证实