arXiv cs.AI

DP-FedPGN: 勾配ノルムのペナルティを通じて差分プライバシーを考慮したフェデレーテッドラーニングのためのグローバルフラットミニマを見つける

DP-FedPGN: Finding Global Flat Minima for Differentially Private Federated Learning via Penalizing Gradient Norm

http://arxiv.org/abs/2510.27504v1


この記事では、差分プライバシーを考慮したクライアントレベルのフェデレーテッドラーニング(CL-DPFL)における問題点を解決するため、新たにDP-FedPGNというアルゴリズムを提案しています。従来のCL-DPFL手法では、シャープなロスランドスケープが生成され、モデルの一般化能力が低下することがあるため、地元のフラットミニマを探すためにSharpness Aware Minimization(SAM)が利用されていました。しかし、これではグローバルなフラットネスが反映されないことがあります。DP-FedPGNは、ローカルロスにグローバル勾配ノルムペナルティを導入することで、グローバルフラットミニマを探索します。この方法によって、段階的に更新されるノルムを減らし、勾配クリッピングの誤差も軽減されるという効果があることが理論的に分析されています。また、提案されたアルゴリズムはデータの非均質性による影響を排除し、高速収束を実現しています。最終的には、ResNetおよびTransformerモデルを用いた実験で、従来の最先端アルゴリズムと比較して、視覚および自然言語処理タスクにおいて有意な改善を達成しています。