本研究は、自然言語で問題を記述し、自動的に実行可能かつ効率的なモデルを得ることを目指す制約プログラミングの文脈で、言語モデル（LLM）がどのように影響を受けるかを検討しています。特に、大規模言語モデルが標準的なCP問題に関するデータで訓練されているため、実際の推論よりもデータ汚染による成功が多い可能性があることに着目しました。研究者たちは、著名なCSPLib問題を改変し、元の構造を保ちながら文脈を変え、誤解を招く要素を導入しました。その結果、LLMは文法的には正しいが、文脈や言語の変化に対する感受性が高く、理解が浅いことが明らかになりました。これにより、LLMの性能は設定や文言の変化に対して著しく低下することが示されました。