arXiv cs.LG

マスク付き拡散モデルのための最適推論スケジュール

Optimal Inference Schedules for Masked Diffusion Models

http://arxiv.org/abs/2511.04647v1


本稿では、マスク付き拡散モデル(MDM)の最適な推論スケジュールについて探求します。標準的な自己回帰型大規模言語モデルは、推論過程が逐次的であるため、長時間かかることが主な課題です。この問題を解決するために、拡散言語モデルが提案され、特にMDMは並列的にトークンをサンプリングできる特徴があります。しかし、並列サンプリングの性能低下を伴わずにどれほど可能かについては理解が不足しています。先行研究では初歩的な限界が報告されていますが、多くの自然な分布に対しては限界が厳密ではありませんでした。本研究では、真の分布とサンプリングされた分布間の期待される偏差を正確に特定し、単一変数関数近似の理論との elegant connection を示します。情報理論的特性を活用することで、新しいサンプリングスケジュールを提案し、特定の条件下で性能の低下なしにO(log n)ステップでのサンプリングが可能であることを示しています。