arXiv cs.LG

分割解析活性化を持つニューラルネットワークにおける勾配降下マップの非特異性

Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations

http://arxiv.org/abs/2510.24466v1


この記事では、分割解析活性化関数を持つニューラルネットワークに対する勾配降下法(GD)の非特異性について論じています。これまで、GDの非特異性は、特定の条件下での収束性や鞍点の回避を証明するために利用されてきましたが、主に従来の研究ではGDマップの非特異性が仮定されているか、リプシッツ連続性といった制約条件が課されています。本研究では、現実的なニューラルネットワークアーキテクチャにおける勾配降下マップの非特異性を初めて証明し、ほぼすべてのステップサイズで成り立つことを示しました。この成果により、GDや確率的GDの収束に関する既存の知見が実際の設定で適用可能になることを保証し、学習ダイナミクスのさらなる探究の可能性を開くことになります。