arXiv cs.LG

モーメンタムによるパラメータ非依存エラーフィードバックの収束性の改善

Improved Convergence in Parameter-Agnostic Error Feedback through Momentum

http://arxiv.org/abs/2511.14501v1


この記事では、通信圧縮が分散トレーニングにおける機械学習モデルのスケーラビリティを上げる一方で、収束を悪化させる問題について論じています。特に、エラーフィードバック(EF)メカニズムを用いてこの問題を緩和する方法が検討されていますが、従来のEFアルゴリズムは問題のパラメータに依存しているため、大規模ニューラルネットワークのトレーニングにおいて実用性が限られています。本研究では、正規化されたエラーフィードバックアルゴリズムとモーメンタムのさまざまなバリエーションを組み合わせ、パラメータに依存しない時間変化するステップサイズを用いることにより、問題依存の調整が不要な手法を提案します。この手法による収束性を分析し、滑らかな関数の最小化におけるパラメータ非依存の複雑さの境界を設定しました。最後に、実験結果が理論的な見解を確認していることを示しています。