回転不変性による基底変換プルーニング

この記事では、回転不変性を活用した基底変換（CoB）プルーニングの新手法が提案されています。従来の構造化プルーニングは、全体のニューロンやチャネルを削除しますが、その効果は重要性の分配に依存します。CoBプルーニングは、直交線形変換を適用することで、特定の次元内に重要性を集中させる課題に取り組みます。しかし、一般的なディープラーニングアーキテクチャは、こうした変換に対して本質的に不変ではありません。この問題を解決するために、著者らは二重空間放射活性化（TSRA）という、二つの活性化サブスペース内で独立して適用される直交線形変換に対して不変な活性化ファミリーを導入します。この不変性により、CoB変換を追加のパラメータなしで周囲の重みと統合できることが示されています。実験では、VGG-16モデルを用いて良好な結果を得られることが確認され、一定比率の構造化プルーニングにおいて、CoBが精度を向上させることが示されています。全体的に、回転不変アーキテクチャは基底変換プルーニングの有望な方向性を示唆しています。