arXiv cs.LG

調整可能なリーキーReLUを持つ浅いニューラルネットワークの最適化風景における非線形ダイナミクス

Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU

http://arxiv.org/abs/2510.25060v1


本研究では、平均二乗損失とリーキーReLU活性化関数を使用して訓練された浅いニューラルネットワークの非線形ダイナミクスを探求しています。ガウス入力および等しい層幅kのもとで、理論的枠組みを確立し、kが4以上の任意のニューロン数に適用できるようにしました。この枠組みでは、リーキーパラメータαが変化するにつれて、クリティカルポイントの分岐を検出できます。分析の結果、クリティカルナンバー0で多様な重複が発生することが明らかになりました。また、これらの分岐は層幅に依存せず、非負のαに対してのみ現れ、グローバルミニマムは工程範囲α(0,1)の間でさらなる対称性破壊の不安定性を経験しないことも示しました。k=5の具体例を通じて、この枠組みとその結果生じる分岐と対称性を示しています。