記事では、ニューラルネットワークの各層に適切な特徴数を決定することの重要性が述べられています。特にメモリや処理能力が制限されたシステムでの応用においては、この調整が難しい課題となります。従来のネットワークサイズ削減手法は、イテレーティブな手法を利用するため訓練時間が大幅に延びたり、アルゴリズムのパラメータ調整が必要になることが多いです。本論文では、NodeDropという新しい手法を提案し、情報を持たないノードを特定・保証する条件を定義します。さらに、正則化を用いてノードがこの条件を満たすように促します。NodeDropを適用することで、CIFAR10のVGGライクネットワークでパラメータ数を114倍削減しながら、精度を維持することができることが示されました。