変分マスク拡散モデル

マスク拡散モデルは、近年、離散生成モデルの柔軟なフレームワークとして登場しましたが、同時に予測されるトークン間の依存関係を効果的に捉えることができないという課題があります。この問題に対処するため、著者たちは変分マスク拡散（VMD）というフレームワークを提案します。これは、マスク拡散プロセスに潜在変数を導入するものです。合成データセットを用いた実験を通じて、VMDが従来のマスク拡散では捉えられなかった依存関係を学習できることを示しました。また、数独パズルやテキストデータセットに対しても、トークン間の依存関係の学習がグローバルな一貫性を向上させることを検証しました。VMDは生成品質と依存関係の認識を高め、変分推論をマスク拡散に統合する価値を明示しています。