arXiv cs.LG

分類タスクにおける一般化のための訓練時プロキシとしての勾配-重みアライメント

Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks

http://arxiv.org/abs/2510.25480v1


本論文では、ディープラーニングにおける堅牢なバリデーション指標の重要性について議論されています。特に、訓練データとモデルの重みとの相互作用が、訓練中の一般化を追跡し、パフォーマンスを個別の訓練サンプルに帰属させる指標となるかを探求します。著者たちは勾配-重みアライメント(GWA)を導入し、サンプルごとの勾配とモデルの重みとの整合性を定量化しました。この整合性が効果的な学習を示し、不整合が一般化の悪化を示すことを示しました。GWAは訓練中に効率的に計算でき、サンプル特有の寄与とデータセット全体の学習動態を反映します。実験を通じてGWAが最適な早期停止を正確に予測し、モデル比較を実現し、影響力のある訓練サンプルを特定することで、バリデーションセットに依存しないモデル分析のアプローチを提供することが示されました。