arXiv cs.LG

学習型最適化器による分数勾配降下法の改良

Enhancing Fractional Gradient Descent with Learned Optimizers

http://arxiv.org/abs/2510.18783v1


本記事では、分数勾配降下法(FGD)が機械学習における最適化を加速する新しい手法として紹介されています。FGDは初期の結果が有望ではあるものの、収束行動やハイパーパラメータの選択に関して課題が残ります。特に、非凸問題でのハイパーパラメータの動的な調整が難しいため、本研究ではCaputo分数勾配降下法(CFGD)のハイパーパラメータを動的に調整する手法「学習型最適化(L2O-CFGD)」を提案します。この手法は、静的なハイパーパラメータよりも優れた結果を示し、特定のタスクでは完全にブラックボックス化されたメタ学習型最適化器に匹敵するパフォーマンスを達成します。L2O-CFGDは、研究者が高性能なハイパーパラメータを特定し、分数微分の履歴依存性を最適化に活用するための強力なツールとなります。