arXiv cs.LG

ミューオンのスペクトル設計が一般化に与える利点:不均衡データに関する研究

How Muon's Spectral Design Benefits Generalization: A Study on Imbalanced Data

http://arxiv.org/abs/2510.22980v1


本研究は、ディープラーニングにおけるスペクトル認識行列最適化手法、特にミューオンとシャンプーの一般化特性を体系的に検討しています。具体的には、不均衡データをテストベッドとして用い、スペクトル勾配降下法(SpecGD)が従来のユークリッド勾配降下法(GD)と比較してどのように優れているかを分析します。実験により、SpecGDは全ての主成分を均等な速度で学習する一方、GDは支配的な主成分を優先的に学習することが示され、これが初期の段階でのバランスの取れた精度を向上させることにつながると確認されました。また、深層線形モデルにおいてこの効果が増幅されることも示されています。実験結果は、これらのスペクトル最適化手法がデータの基礎となる成分をより均等に学習することによって優れた一般化性能を発揮することを確認しています。