arXiv cs.LG

問題パラメータ非依存の分散バイレベル最適化

Problem-Parameter-Free Decentralized Bilevel Optimization

http://arxiv.org/abs/2510.24288v1


分散バイレベル最適化は、機械学習の大規模な問題を解決する上で重要な役割を果たしており、近年注目を集めています。しかし、既存の手法はスムーズさや凸性、通信ネットワークのトポロジーといった問題のパラメータに依存しており、適切なステップサイズを決定するためには事前の知識が必要です。実際にはこれらのパラメータが利用できないことが多く、ハイパーパラメータの調整に多大な手間がかかります。本稿では、全く問題パラメータに依存しない手法AdaSDBOを提案します。このアルゴリズムは、累積勾配ノルムに基づく適応的なステップサイズを利用し、全変数を同時に更新します。理論的な分析により、AdaSDBOはその収束率が従来の最適化手法と同等であることが示され、数値実験でも競争力のある性能を発揮することが確認されました。