arXiv cs.LG

情報理論に基づく離散拡散

Information-Theoretic Discrete Diffusion

http://arxiv.org/abs/2510.24088v1


本稿では、離散拡散モデルに対する情報理論的枠組みを提案し、スコアマッチング損失を用いた対数尤度の原則的推定量を導出しています。ガウス設定におけるI-MMSEの同一性に触発され、離散設定に対する類似の結果を得ました。具体的には、データとその拡散バージョン間の相互情報量を最小デノイジングスコアエントロピー(DSE)損失と結びつける情報最小デノイジングスコアエントロピー(I-MDSE)関係を導入しました。また、マスク付き拡散に対しては、交差エントロピー損失を相互情報量に結びつける情報最小デノイジング交差エントロピー(I-MDCE)関係を確立しました。これにより、DSEやDCEが単なる変分境界ではなく、対数尤度の厳密な推定量であることが示されました。実験により、提案した推定量の正確性、分散の安定性、実用性が確認されています。