この記事では、トランスフォーマーにおける分布外（OOD）一般化の問題を探求しています。具体的には、GSM8Kスタイルのモジュラー算術を用いた計算グラフタスクをテストベッドとして使用し、OOD一般化を向上させるための四つのアーキテクチャ的メカニズムを提案しています。これらは、入力適応的再帰、アルゴリズム的監視、離散ボトルネックを介した潜在表現の固定、および明示的な誤り修正メカニズムです。これにより、トランスフォーマーネットワークにおける安定したアルゴリズム的一般化能力を持つ潜在空間推論が実現されます。また、これらのメカニズムがどのようにして堅牢なOOD一般化能力をもたらすかを詳細に分析し、実験的な結果と機構的解釈を補完しています。