この記事では、自己教師あり言語モデルが数学的な式に適用された場合の論理的推論能力について検討しています。著者らは、形式的な数学的表現に基づく言語モデルの評価に利用できるいくつかの論理的推論タスクを提案し、型推論や欠落した仮定の提案、等式の完成などを含んでいます。特に、形式的数学のための言語モデルをトレーニングするための新しいスキップツリータスクを提案しており、これに基づいてトレーニングされたモデルは驚くほど優れた数学的推論能力を示し、従来のスキップシーケンスタスクでトレーニングされたモデルよりも優れた性能を発揮しています。さらに、モデルが新たな推測を形成する能力を分析し、予測が証明可能かつ他の証明に役立つ頻度を測定しています。