arXiv cs.AI

もっと考えて少ない幻覚: 大規模言語モデルのための側面に基づく因果的自己抑制

Hallucinate Less by Thinking More: Aspect-Based Causal Abstention for Large Language Models

http://arxiv.org/abs/2511.17170v1


大規模言語モデル(LLM)は、流暢でありながら事実に基づかない応答を生成することが多く、これを「幻覚」と呼びます。従来の自己抑制方法は、生成後の信号に依存しているため、不正確な応答を事前に防ぐ能力が制限されています。本論文では、新たに提案された「側面に基づく因果的自己抑制(ABCA)」フレームワークを紹介します。これは、因果推論を用いてLLMの内部知識の多様性を分析し、早期の自己抑制を可能にします。この多様性は、異なる分野や法的文脈、時間的枠組みなど、様々な側面から得られるパラメトリック知識の多面的な性質を反映しています。ABCAは特定のクエリに関連する知識の信頼性を評価するために、これらの側面に条件付けられた因果効果を推定します。実験により、ABCAは自己抑制の信頼性を向上させ、最新の性能を達成し、自己抑制の決定の解釈性を向上させることが示されました。