HackerNews

言語モデルは信念と知識、事実を確実に区別できない

Language models cannot reliably distinguish belief from knowledge and fact

https://www.nature.com/articles/s42256-025-01113-8


言語モデル(LM)が法、医療、ジャーナリズム、科学などの重要な分野で広く利用される中、信念と知識、事実とフィクションを区別する能力が求められる。しかし、多くの言語モデルはこの区別において重要な限界を抱えている。24種類の最先端言語モデルを対象に、13,000の質問から構成されるKaBLEベンチマークを用いて評価した結果、全モデルが第一人称の誤った信念を認識することに失敗し、モデルによって正答率に大きな差があった。また、第三人称の誤信念に比べて第一人称の誤信念を処理する精度が低いことが示され、偏りが存在することが明らかになった。最近のモデルは再帰的知識タスクに対する能力を示す一方で、一貫性のない推論戦略に依存しており、実質的な理解が欠如していることが指摘された。これらの限界は、高リスクの領域でモデルを使用する前に改善が急務であることを示唆している。