arXiv cs.AI

FAPE-IR: 周波数を考慮した全一体画像復元のための計画と実行フレームワーク

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

http://arxiv.org/abs/2511.14099v1


FAPE-IRは、全一体画像復元(AIO-IR)のための周波数を意識した計画と実行のフレームワークを提案します。このアプローチは、複数の劣化を一元的に処理可能なモデルを目指していますが、既存の手法は一般的にタスク特有の設計に依存しており、実際のシナリオに適用するのが難しい場合があります。FAPE-IRでは、冷却されたマルチモーダル大規模言語モデル(MLLM)を活用し、劣化した画像を分析して周波数を意識した復元計画を生成します。この計画に基づき、LoRAに基づくエキスパート選択モジュールを介して動的に専門家を選定し、さらに敵対的訓練と周波数正則化損失を導入することで復元品質の向上を図ります。これにより、セマンティックな計画と周波数に基づく復元を結合した、統一的で解釈可能な画像復元ソリューションを提供します。FAPE-IRは、複数の復元タスクにおいて最先端の性能を達成し、混合劣化下での強いゼロショット汎化能力を示しています。