arXiv cs.LG

フィードバックアライメントと低ランクマニフォルドの結合:ローカル学習のための構造的レシピ

Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning

http://arxiv.org/abs/2510.25594v1


本論文では、ディープニューラルネットワーク(DNN)のトレーニングにおけるフィードバックアライメントと低ランクマニフォルドを組み合わせた新しいローカル学習フレームワークを提案しています。従来のバックプロパゲーション(BP)では、グローバルなエラー伝播や全てのパラメータが必要であるため、計算資源とメモリの負担が大きくなります。提案するフィードバックアライメントでは、局所的で並列的な更新が可能ですが、深層アーキテクチャに対して拡張性に限界があります。著者らは、重み行列の特異値分解(SVD)を用いて、各層を分解された形でトレーニングし、交差エントロピーやサブスペースアライメント、直交性正則化を組み合わせた複合損失でSVD成分に更新を適用します。この方法により、元のDFAモデルに対してトレーニング可能なパラメータ数を削減しつつ、CIFAR-10、CIFAR-100、ImageNetのデータセットにおいてBPと同等の精度を達成しました。