arXiv cs.LG

ラベルノイズ勾配降下法が低SNR領域における一般化を改善する方法

How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime?

http://arxiv.org/abs/2510.17526v1


深層学習モデルは、統計的信号を学習する能力が高い一方で、訓練データのノイズに過剰適合する可能性があります。特に低信号対雑音比(SNR)のデータでは、ノイズの記憶が有害であり、一般化能力が低下します。本研究では、勾配更新にラベルノイズを導入することで、神経ネットワーク(NN)のテスト性能が向上するかを検討しています。具体的には、単純なラベルノイズ勾配降下法を使用して2層NNを訓練し、理想的な信号-ノイズデータの設定で検証しました。その結果、訓練中にラベルノイズを追加することでノイズの記憶が抑制され、信号の成長が促進されることが確認されました。これにより、低SNRにも関わらず良好な一般化が実現され、標準的な勾配降下法で訓練されたNNはノイズに過剰適合する傾向があることが示されました。