arXiv cs.LG

差分プライバシーを考慮した確率的勾配法のほぼ確実収束分析

Almost Sure Convergence Analysis of Differentially Private Stochastic Gradient Methods

http://arxiv.org/abs/2511.16587v1


差分プライバシーを考慮した確率的勾配降下法(DP-SGD)は、厳格なプライバシー保障の下で機械学習モデルを訓練するための標準的なアルゴリズムとなっています。しかし、その長期的な挙動に関する理論的理解は限られています。本研究では、DP-SGDが標準的な滑らかさの仮定の下でほぼ確実に収束することを証明しています。これは、非凸および強い凸の設定においても適用可能で、ステップサイズが特定の減衰条件を満たす限り成り立ちます。また、確率的ヘビーボール法(DP-SHB)やネステロフの加速勾配法(DP-NAG)などのモーメンタムバリエーションに関しても、同様の保証が得られることを示しています。これらの結果は、差分プライバシーを考慮した最適化の理論的基盤を強化し、プライバシーによる歪みにもかかわらず、このアルゴリズムが経路的に安定であることを示唆しています。