arXiv cs.AI

セキュリティ自動化における毒されたLLMの危険性について

On The Dangers of Poisoned LLMs In Security Automation

http://arxiv.org/abs/2511.02600v1


本稿では、「LLMポイズニング」によってもたらされるリスクのいくつかを探求します。これは、モデルの訓練過程で意図的または意図しない形で悪意あるデータや偏ったデータが導入されることを指します。研究者たちは、限定されたデータセットでファインチューニングされたLLMが、どのようにして偏りを生み出し、特定のユーザーからの真正なアラートを一貫して無視するようにモデルを偏らせるかを示しています。さらに、セキュリティアプリケーションにおけるLLMの信頼性や堅牢性を高め、リスクを軽減するためのいくつかの緩和策やベストプラクティスを提案しています。この研究は、LLMの利用における潜在的な脅威を認識させ、対策を講じるための重要な指針を提供しています。