この研究では、言語モデルが構文解析を行っているのか、単に意味的なパターンに依存しているのかを識別する方法が欠如していることを指摘しています。著者らは、センター埋め込み文に関する9,720の理解質問のデータセット「CenterBench」を導入し、相対節が再帰的にネストされた文に対するモデルの理解を測定しています。実験では、モデルが文の複雑さに応じて意味的な関連性に依存し、構造的な分析を放棄することを示すパフォーマンス差を観察しました。特に、因果関係が重要な質問では、意味的な一貫性よりも影響を受けることが明らかになりました。これは、意味的な妥当性が質問に対するパフォーマンスを害することを示しています。この研究は、言語モデルがいつ構造的な分析からパターンマッチングに移行するかを特定するための新しい枠組みを提供しています。