この記事では、深層神経ネットワークにおける過剰適合を抑える一般的な手法であるドロップアウトに代わり、新たに提案されたSparseoutという手法について説明されています。Sparseoutは、ニューラルネットワークの活性化のスパース性を制御するための簡易で効率的なバリアントです。理論的に、Sparseoutは一般化線形モデルの特徴に対する$L_q$ペナルティと等価であり、ドロップアウトはSparseoutの特別なケースであることが証明されています。実験においてSparseoutは計算コストが低く、活性化のスパース性を希望するレベルで制御できることが示されています。画像分類と言語モデルのタスクにおける評価から、言語モデルでは活性化のスパース性が性能向上に寄与し、画像分類ではより高密度の活性化が有利であることがわかりました。Sparseoutは、最先端の深層学習モデルにおけるスパース性を探求する手段を提供します。