arXiv cs.LG

確率勾配ランジュバン動力学の定常点到達時間とエルゴディシティについて

On Stationary-Point Hitting Time and Ergodicity of Stochastic Gradient Langevin Dynamics

http://arxiv.org/abs/1904.13016v4


確率勾配ランジュバン動力学(SGLD)は、確率最適化における基本的なアルゴリズムです。本論文では、SGLDの定常点到達時間に関する直接分析を行っています。この分析は、従来の研究(Zhang et al. [2017])に対して、より簡潔であり、基本的な線形代数や確率論のツールに依存しています。著者たちは、SGLDの到達時間が次元や滑らかさ、ノイズ強度、ステップサイズの影響を受けることを示し、適切な条件下では、一次定常点への到達時間が次元に依存しない可能性があることを明らかにしました。また、本研究は線形回帰や行列因子分解、オンラインPCAなどの機械学習におけるオンライン推定問題の解析にも応用されています。