arXiv cs.AI

Q-MLLM: 脅威に対するロバストなマルチモーダル大規模言語モデルのためのベクトル量子化

Q-MLLM: Vector Quantization for Robust Multimodal Large Language Model Security

http://arxiv.org/abs/2511.16229v1


マルチモーダル大規模言語モデル(MLLM)は、異なるモード間の理解能力が高いものの、視覚的入力による敵対的攻撃に対して脆弱性を持っています。この脆弱性は、視覚表現の連続性や、テキストベースの安全メカニズムが視覚コンテンツに適用されにくいことから生じます。そこで、Q-MLLMという新しいアーキテクチャを提案し、二段階のベクトル量子化を導入することで、敵対的攻撃に対する対策を講じながらマルチモーダルな推論能力を保ちます。この手法により、視覚表現をピクセルおよびセマンティックレベルで離散化し、攻撃ルートを遮断します。実験では、Q-MLLMが従来の方法よりも高い防御成功率を示し、ジャイルブレイク攻撃に対しては100%の防御成功率を達成しました。この研究は、高コストな安全特化型の微調整を必要とせずに、安全なマルチモーダルAIシステムに対するベクトル量子化の効果的な防御メカニズムを確立しました。