arXiv cs.LG

非線形特性とスペクトルバイアスに関する情報を用いたニューラルネットワークの初期化

Neural network initialization with nonlinear characteristics and information on spectral bias

http://arxiv.org/abs/2511.02244v1


ニューラルネットワークの学習性能に大きな影響を及ぼす初期化手法について説明しています。特に、重みやバイアスの初期値が適切であれば、バックプロパゲーションによる追加トレーニングを避けることも可能です。本研究では、従来の初期化アルゴリズムに比べて新手法が優れていることを示しています。具体的には、スペクトルバイアスという特性を考慮し、低周波成分をキャプチャするためにSWIMアルゴリズムのスケールファクターを調整するフレームワークを提案しています。その結果、1次元回帰タスクやMNIST分類タスクにおいて、提案手法が効果的であることが数値実験により実証されました。これは、ニューラルネットワークの学習における固有のスペクトル特性の重要性を明確化し、学習性能を向上させる初期化戦略を提供します。