単一レベル最適化による差分アーキテクチャ探索

本論文では、差分アーキテクチャ探索（DARTS）がネットワーク重みとアーキテクチャパラメータの勾配に偏りをもたらし、二重レベル最適化フレームワーク内で異なるデータセットでアーキテクチャパラメータが交互に更新されることを指摘しています。この偏りは、学習可能な操作よりも学習不可能な操作のアーキテクチャパラメータが上回る原因となります。また、ソフトマックスをアーキテクチャパラメータの活性化関数として使用し、不適切な学習率を設定すると、この偏りが悪化します。その結果、探索過程で学習不可能な操作が支配的になることが多く見られます。偏りを低減させるために、二重レベル最適化の代わりに単一レベルを利用し、ソフトマックスの代わりにシグモイドなどの競合しない活性化関数を提案します。これにより、高性能なアーキテクチャを安定して探索できることが示されました。実験結果はこの仮説を検証し、最適に近いアーキテクチャを継続的に見出すことができました。