arXiv cs.AI

ニューラルネットワークは情報理論的限界に近い一般的なマルチインデックスモデルを学習する

Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit

http://arxiv.org/abs/2511.15120v1


この記事では、ニューラルネットワークが高次元特徴を効率的に学習する方法を探求しています。著者たちは、一般的なガウスのマルチインデックスモデルを用いて、層別勾配降下法による学習を解析します。その結果、生のサンプル数と計算時間において、情報理論的限界に一致する最適なサンプル数と時間複雑度を証明しました。また、初期の勾配降下学習段階で、内部重みがパワー反復プロセスを実行し、隠れ部分空間を復元することを示しています。この研究は、ニューラルネットワークが階層的関数を効率的に学べる能力を示しており、最適な結果を得るためには、第一層の訓練が一定のステップ数以上でなければならないことを明らかにしました。