この研究は、トランスフォーマーがトレーニング中に観察されなかったシーケンスに対して示す組成的推論能力を探ります。この能力はしばしば文脈内学習（ICL）とスキルの組成に起因するとされます。著者はランダム階層モデル（RHM）を用い、シーケンスの生成を再帰的ルール適用を通じて行います。モデルはシーケンスのサブセットで訓練され、メモリ化、分布内一般化、同じルールを用いた分布外一般化、および層間転送の4つの条件で評価されます。訓練中に層の専門化が進行し、一般化性能と相関することが確認されました。主成分分析と注意パターンのクラスタリングにより、トランスフォーマーが専門化した層内で構造化された階層的表現を発展させていることが示されました。この研究は、トランスフォーマーが組成的推論を支えるモジュール化された解釈可能なメカニズムを発展させ、内部のアルゴリズム構造と観察された行動能力を結びつけることを示しています。