この研究は、ニューラルネットワーク(NNs)における特徴学習のダイナミクスを理解するための新しい枠組みを提供します。著者たちは、ランダム化の影響を排除する方法を通じて、特に特定の条件の下でNNsの構造発見に焦点を当てています。具体的には、任意のサイズと深さのNNs、すべてのパラメータが学習可能な状況、任意のスムーズな損失関数、小さな正則化、および二次静止点を達成する任意の学習手法を前提にしています。中心となるのは、関数の最適化が特定の条件下で重みをゼロに収束させるという重要なデラランドマイゼーションの補題です。この補題は構造発見の基本的な性質を示しており、MAXCUTのエンドツーエンド近似やジョンソン-リンデンシュトラウス埋め込みの計算など、他の領域への応用が期待されます。