この記事では、大規模言語モデル（LLM）が期待される確率分布に従って出力を生成する能力に関する実験結果を報告しています。研究者たちは、LLMが指定された確率分布に従った出力を生成するよう求めたところ、すべての現代的なLLMが大きく失敗することが判明しました。例えば、出力が「1」である確率を49%とした場合、実際にはほぼ100%の確率で「0」が返される結果となりました。このような挙動は、LLMが最も高い確率を持つ出力を選ぶ傾向が強く、モデルの性能偏向さえも無視されることを示しています。特に、現在のAIのベンチマークは客観的な正解を持ち、強化学習による訓練が確率的な探求を抑制していることが指摘されています。