arXiv cs.LG

制約付きサンプリングと非凸学習のための射影確率勾配ランジュバンアルゴリズム

Projected Stochastic Gradient Langevin Algorithms for Constrained Sampling and Non-Convex Learning

http://arxiv.org/abs/2012.12137v1


本稿では、非凸損失とコンパクトな凸制約集合に対して、射影確率勾配ランジュバンアルゴリズム(PSGLA)を提案します。このアルゴリズムは、勾配降下法に加えノイズを加えた手法であり、特に制約されたオプティマイゼーションや学習問題において有効です。研究の結果、PSGLAは目標分布から$O(T^{-1/4}( ext{log} T)^{1/2})$の偏差を持つことが示され、平均して$oldsymbol{ ho}$-最適解を達成することが可能です。これにより、ポリノミアル時間と高次元問題に対しても有用性が確認されています。