シミュレーテッドアニーリングによる組込みハイパーパラメータ調整

本稿では、確率的勾配降下法（SGD）と離散最適化を組み合わせた新しいメタヒューリスティックなトレーニング手法を提案します。提案手法では、現在のSGDポイントの周囲に「潜在的に良い移動」を含む離散的な近傍を定義し、この近傍内でクラスicalメタヒューリスティック手法（シミュレーテッドアニーリング）を用いて新しい解候補の受け入れ確率を評価します。このプロセスではハイパーパラメータがSGDの実行中に変更され、現在のミニバッチで評価されるため、調整がSGDアルゴリズムに組み込まれています。イメージ分類（CIFAR-10）の計算結果では、提案手法が現代の深層ニューラルネットワーク（ResNet34やVGG16など）の最終的なバリデーション精度を改善することが示されています。