本記事では、フェデレーテッドラーニング（FL）のコミュニケーションラウンドがボトルネックであることに着目し、新たに提案されたMuonsオプティマイザを用いて行列構造のパラメータを最適化する方法を紹介しています。従来のエレメントワイズ最適化手法においては、重み行列の幾何学的構造が考慮されておらず、結果として局所更新によるパスロジーが増大し、収束が遅れていました。FedMuonは、クライアントのドリフトを軽減するために、モーメント集約とローカル・グローバルの整合性を組み合わせた新しいアプローチを提供します。実験結果として、FedMuonは局所SGDや局所AdamWに比べ、収束を大幅に加速し、通信ラウンドも削減できることが実証されています。理論的にも、FedMuonは異質性仮定なしで線形の収束速度向上を達成できることが証明されています。