本研究は、強化学習を用いてバブルソートスタイルの隣接スワップを実行するトランスフォーマーにおける埋め込み次元の影響を調査します。小さな埋め込み次元でも高精度を達成できますが、次元が大きいほうが、より正確で一貫性のある内部表現が得られます。特に、高次元は構造化された内部表現の形成を強化し、解釈性を向上させます。数百回の実験の結果、注意重み行列の最終行がトークンのグローバルな順序を単調にエンコードしていること、及び選択された転置がこれらのエンコードされた値の最も大きな隣接差と整合することが観察されました。この結果は、トランスフォーマーが構造化された内部世界モデルを構築し、モデルサイズが表現の質を向上させることを示す定量的証拠を提供します。