この記事では、NVIDIAのNCCL（NVIDIA Collective Communications Library）におけるGPU主導のネットワーキング（GIN）のアーキテクチャと設計について説明しています。特に、現代のAIワークロードであるMixture-of-Experts（MoE）アーキテクチャが低遅延かつ細かいGPU間通信を必要とする中、従来のホスト主導モデルに対抗するために、デバイス側での通信の重要性が強調されています。NCCL 2.28のデバイスAPIは、NVLink/PCIe用のLoad/Store Accessible、NVLink SHARP用のMultimem、そしてネットワークRDMA用のGPU-Initiated Networkingの三つの操作モードを導入しました。GINは、ホスト側APIとデバイス側API、及び広範なハードウェアサポートを有するネットワークプラグインアーキテクチャから成る三層構造を構築しています。最終的に、GINはNCCLの統一されたランタイム内で低遅延のデバイス主導通信を実現し、MoE通信ライブラリDeepEPとの統合を通じた実用性を示しています。