本記事では、逆伝播（バックプロパゲーション）が深層学習において成功している一方で、神経ネットワークを通過する際に二回のパスと中間活性化の保存が必要であることに着目しています。既存の勾配推定手法は前向き自動微分を使用しますが、その推定値の高い分散から小規模なネットワークを超えるスケールの拡張に苦労しています。この記事では、推定のバイアスと分散をともに軽減する新しいアプローチを提案します。この方法は、上流のヤコビ行列を操作することで推定精度を向上させ、大きなネットワークでも有効に機能する可能性があります。特にネットワークの幅を増すと性能が向上することが示されており、神経ネットワークの勾配の低次元構造との関連性を分析することで、この手法の理解が深まります。