arXiv cs.LG

局所降下レマに基づく非単調サブグラディエント法

Nonmonotone subgradient methods based on a local descent lemma

http://arxiv.org/abs/2510.19341v1


この記事では、非単調降下法の文脈を、滑らかでない非凸関数のクラス(上部$ extmath{C}^2$と呼ばれる)に拡張することを目的としています。この関数は、滑らかでない局所的な降下レマのバージョンを満たします。これを前提に、非単調ラインサーチを行う一般的なサブグラディエント法を提案し、最適化問題の定常点への部分収束を証明します。我々のアプローチでは、ニュートン法や擬似ニュートン法を含むさまざまなサブグラディエントアルゴリズムの設定を網羅することが可能です。さらに、ラインサーチのパラメータを自動的に更新する非単調サブグラディエント法(SNSM)の具体的な仕様を提案します。特に最小二乗クラスタリング問題に注目し、SNSMの具体的な実装を提供します。最後に、SNSMが既存のアルゴリズムと比較してどのような利点があるかを数値実験で示します。