この記事では、過剰パラメータ化された全結合ニューラルネットワークが勾配降下法によってトレーニングされる際の挙動について分析しています。特に、ネットワークの幅が無限大に、学習率が小さい場合に得られるカーネルが、学習したモデルの出力を閉じた形で表現できることを示しています。この閉じた解の有効性は、制限されたカーネルの可逆性に依存しており、多くの実世界データセットではこの条件が満たされることが多いです。また、大きなReLUネットワークの深さが増加することによる感受性についても考察し、理論的に定義された制限されたカーネルが1の行列に近づくことを示しました。さらに、ネットワークの深さが収束的な挙動を示すために必要な大きさを経験的に評価し、他のカーネルへの結果の一般化を可能にする重要な特性についても述べています。