arXiv cs.LG

ホルダー滑らかさを持つ加速最適化のための勾配変動オンライン適応性

Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness

http://arxiv.org/abs/2511.02276v1


本論文では、ホルダー滑らかさを持つ関数を用いたオンライン学習の枠組みを通じて、加速最適化の手法を探求しています。滑らかさはオフライン最適化の加速に重要な要素とされ、またオンライン学習における勾配変動のレグレット最小化とも深く関わっています。本研究では、強凸なオンライン関数に対して勾配変動オンライン学習アルゴリズムを設計し、その結果が滑らかな領域と非滑らかな領域の最適保証の間で滑らかに補間されることを示しました。特に、提案するアルゴリズムはホルダー滑らかさの事前知識を必要とせず、高い適応性を持ちます。さらに、オンラインからバッチへの変換を通じて、ホルダー滑らかさの条件下でのストキャスティック凸最適化に最適な普遍的手法を提供しています。オフライン強凸最適化においても、オンライン適応性と検出ベースの推測・検証手法を融合させることで、初めて滑らかな場合に加速収束を達成し、非滑らかな場合にも近最適な収束を保つ普遍的なオフライン手法を構築しています。