本研究では、注意機構のみを使用した小型トランスフォーマーを用いて間接目的語識別（IOI）タスクに取り組むことで、特定の推論タスクに必要な最小限のメカニズムを明らかにします。二つの注意ヘッドを持つ単層モデルが完璧なIOI精度を達成することが確認され、MLPや正規化層を持たないにもかかわらず、残差ストリームの分解やスペクトル分析を通じて、二つのヘッドが加法および対比のサブ回路に特化し共同でIOI解決を実装していることが示されました。また、二層一ヘッドのモデルでも類似のパフォーマンスが得られ、レイヤー間でのクエリとバリューの相互作用を通じて情報を構成しています。この結果は、タスク特化型のトレーニングが高度に解釈可能で最小限の回路を誘発することを示し、トランスフォーマー推論の計算的基盤を探るための制御されたテストベッドを提供します。