大規模言語モデルにおける矛盾した信念と一貫しない行動

この記事では、大規模言語モデル（LLM）がリアルワールドのタスクにおいて、どのように信念を更新するか、そしてその信念に整合した行動をとるかについて検証しています。LLMは、静的なデータセットではなく、動的な環境での適応が必要な状況において、一貫性が欠けることが多いと指摘されています。具体的には、LLMは生成する信念の更新において最大30%の差異を示し、内部の信念と矛盾する行動をとることが頻繁に見られます。さらに、ユーザーからの挑戦に対する応答の一貫性も中程度に欠如していることが報告されています。これらの結果は、優れたモデルでも高い精度を持つ場合でも、実世界の複雑な環境でのLLMの挙動を予測する難しさを浮き彫りにしています。