arXiv cs.AI

ゼロショット画像ベースの拡散モデルによる認知ビデオ復元における推論時の時間的一貫性と忠実性の向上

Improving Temporal Consistency and Fidelity at Inference-time in Perceptual Video Restoration by Zero-shot Image-based Diffusion Models

http://arxiv.org/abs/2510.25420v1


本研究は、ゼロショット画像ベースの拡散モデルを用いて、動画復元における時間的一貫性の向上を図ります。従来のアプローチでは、サンプリングの不確実性や明示的な時間モデリングの複雑さから、動画復元での時間的な一貫性が損なわれがちです。そこで、2つの戦略を提案します。1つは、「知覚ストレートニングガイダンス(PSG)」で、神経科学に基づく仮説を利用し、時間的な進化を滑らかにするための曲率ペナルティを取り入れます。もう1つは、「マルチパスアンサンブルサンプリング(MPES)」で、複数の拡散経路を組み合わせることで、確率的変動を減少させ、忠実性を向上させます。これらの技術は、再学習やアーキテクチャの変更なしに、高品質の動画復元を実現するための実用的な手段を提供します。実験の結果、PSGは時間的自然さを向上させ、MPESは忠実性と空間的な知覚を改善することが示されました。