この記事では、離散拡散モデルが自己回帰生成の新しい選択肢を提供する一方で、サンプリング壁という問題を抱えていることが述べられています。サンプリングが行われると、豊かな分布情報が一つのベクトルに圧縮され、その後のステップで情報を伝播できなくなります。この問題に対処するために、著者らは情報を保存するための新しいメカニズム「ループホール」を導入し、それに基づく離散拡散モデル（LDDMs）を提案しています。自己条件付き戦略を用いて効率的に訓練されたLDDMsは、生成の混乱度を従来のベースラインより最大61%削減し、自己回帰モデルとのギャップを埋める、あるいは超える結果を得ました。また、算数のベンチマークでのパフォーマンスも向上しました。この結果は、ループホールがアイドルステップや振動を軽減し、高品質な非自己回帰テキスト生成に向けたスケーラブルな道を提供することを示唆しています。