arXiv cs.LG

効率的なペナルティベースのバイレベル手法:改善された分析、新しい更新、平坦性条件

Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition

http://arxiv.org/abs/2511.16796v1


ペナルティベースの手法は、バイレベル最適化(BLO)問題を解決するために人気を集めている。しかし、これらの手法は下位問題を解くために内ループの反復を必要とし、大きなペナルティ項による滑らかさの増加を扱うために小さな外ループステップサイズを要求することが多く、最適でない複雑性が生じていた。本研究では、結合制約(CCs)を伴う一般的なBLO問題において、上位変数と下位変数をデカップル化する新しいペナルティの再定式化を提案する。これにより、滑らかさの定数の改善が可能となり、上下距離法のための大きなステップサイズと反復の複雑性の削減を実現する。さらに、上位目的の「平坦性」を記述する新たな曲率条件を提案し、従来のリプシッツ条件を緩和することで、ペナルティ定数の小型化とペナルティ勾配項の無視可能化を行う。これらの理論的な分析を通じて、サポートベクターマシンと大規模言語モデルのハイパーパラメータ最適化によって手法の有効性を検証した。