本記事では、深層ニューラルネットワークにおける特徴学習の理論的基盤を確立するための重要な質問について論じています。特に、ニューラル特徴分析（NFA）の概念に注目しています。NFAは、ネットワークが学習した後、第一層の重みのグラム行列が平均勾配外積（AGOP）のある特定の冪（$eta > 0$）に比例することを主張します。研究は、重みの初期化がバランスが取れている場合、NFAが2層の線形ネットワークにおいて成り立つことを証明し、さらに層数がL以上のネットワークにも拡張され、NFAが層に依存して成り立つことを示しました。重みの減衰が適用される場合、バランスの取れていない初期化に対してもNFAが漸近的に成り立つことが分かった一方、いくつかの非線形活性化を持つネットワークでは、NFAが成立しない例も示されています。理論的な結果は、数値的な実験によって検証されています。