大規模ビジョン言語モデル（LVLM）は、ビジュアル入力と矛盾するテキストを生成する「オブジェクト幻想」に悩まされることが多く、この問題は信頼性を著しく損なう可能性があります。従来の介入手法は、内部状態の調整や出力の調整を行うものの、計算のオーバーヘッドが大きく、実用性を制限することがあります。本研究では、残差更新誘導デコーディング規制（RUDDER）という新たな低オーバーヘッドのフレームワークを提案し、視覚に基づいた生成に向けてLVLMを誘導することを目的としています。RUDDERは、自己注意レイヤーの残差更新から抽出された視覚的証拠を示すベクトルと、モデルの視覚的文脈からの逸脱度に基づいた修正信号を適用する適応ゲートの二つの革新に基づいています。実験結果は、RUDDERが従来の最先端手法と同等のパフォーマンスをあまりオーバーヘッドなしで達成できることを示しています。