本記事では、SteerVLMという軽量なステアリングモジュールを紹介します。このモジュールは、視覚と言語のモデル（VLM）がより適切に指示に従った出力を生成できるように設計されています。SteerVLMは、ターゲットと逆行動をエンコードしたペアプロンプトの潜在的な埋め込みから学習し、言語モダリティと画像コンテキストを接続する活性化を動的に調整します。これにより、モデルの重みを変更することなく、複雑な出力意味に対して詳細な推論時制御が可能になります。モジュールの学習パラメータは、元のVLMサイズのわずか0.14%で済みます。また、VNIA（Visual Narrative Intent Alignment）というマルチモーダルデータセットを紹介し、VLMのステアリング技術の開発と評価をサポートします。SteerVLMは、既存の介入技術を上回る性能を示し、活性化工学を通じてマルチモーダルモデルの制御に関する堅牢なソリューションを提供します。