arXiv cs.LG

整列と反転:表現整列を通じた拡散およびフローベースモデルによる逆問題の解決

Align & Invert: Solving Inverse Problems with Diffusion and Flow-based Models via Representational Alignment

http://arxiv.org/abs/2511.16870v1


本研究では、拡散モデルやフローベースモデルの内部表現を事前学習済みの自己教師ありエンコーダーと整列させる手法、REPA(Representation Alignment)を提案しています。このアプローチにより、逆問題における再構成プロセスが改善されることが示されています。逆問題では真の信号が得られないため、モデルの表現を近似ターゲット特徴と整列させることで、再構成の忠実性と知覚的リアリズムを大幅に向上させることが可能です。理論的な結果を通じて、REPA正則化とDINOv2埋め込み空間の発散測度との関係、モデルの内部表現をクリーンな画像のものに誘導する方法についても説明しています。さらに、超解像、ボックス補完、ガウス逆ぼかし、モーション逆ぼかしなどのタスクにおいて、REPAの適用が再構成品質を一貫して改善することが実験で確認され、必要な離散化ステップの数を削減しながらもパフォーマンスを損なわない効率の向上がもたらされることが示されました。