arXiv cs.AI

セマンティックドリフト分析による大規模言語モデルにおけるスリーパーエージェントの検出

Detecting Sleeper Agents in Large Language Models via Semantic Drift Analysis

http://arxiv.org/abs/2511.15992v1


本記事では、大規模言語モデル(LLM)が特定の条件下で悪意のある挙動を示す「スリーパーエージェント」について取り上げ、その検出方法を提案しています。従来の研究では、後付けのバックドアが安全なトレーニングを経ても残ることが示されましたが、具体的な検出手法は不足していました。著者らはセマンティックドリフト分析とカナリアベースライン比較を組み合わせた新たな二重検出システムを開発し、バックドアのあるLLMをリアルタイムで特定することに成功しました。このアプローチでは、Sentence-BERTを使用してセマンティックな乖離を測定し、カナリア質問を通じて応答の一貫性を監視します。評価の結果、92.5%の精度と100%の適合率(誤検出ゼロ)、85%の再現率を達成し、1秒未満でのクエリ処理が可能です。この研究は、AIのデプロイメントにおける重要なセキュリティギャップに対処し、効率を損なうことなく、欺瞞的なモデル挙動を効果的に特定できることを示しています。