制御変数を用いた線形勾配予測

この記事では、神経ネットワークのトレーニングコスト削減を目的とした新しい手法が提案されています。従来の高コストな逆伝播を必要とする完全な勾配の代わりに、近似的に予測された勾配を使用します。制御変数に基づく手法により、更新が真の勾配のバイアスのない推定値であることを確保しています。また、神経接触カーネル理論からインスパイアを受けた新たな勾配予測器の導出方法も提案されています。この手法は、視覚トランスフォーマーによる分類タスクにおいて、その有効性が実証されています。