この記事では、大規模言語モデル（LLM）の反射的推論における限界を探ります。研究者たちは、オープンエンドでありながらルールに制約された科学的試験項目を作成し、自らの批評を考慮して修正するというタスクを通じて、8つの最前線モデルをテストしました。結果は、最初の試行で有効な項目がほとんど生成されず、反射の結果も小幅な改善にとどまることが示されました。特に、2回目の試行では同じ制約違反が繰り返されることが多く、効果的な自己修正ではなく、偶然の有効項目の生成に依存していることが明らかになりました。これらの結果は、LLMの反射プロセスが人間の反射的モニタリングのように機能していないことを示唆しており、信頼性のあるパフォーマンスには外部の制約を強化する構造が必要であると結論付けています。