タスクに応じた専門家のソフトルーティングによる等変表現学習

この記事では、等変表現学習と不変表現学習の相違点とそれぞれの利点を活かしつつ、両者の情報共有を可能にする新しいアプローチである「ソフトタスクアウェアルーティング」（STAR）を提案します。従来の手法では、タスク専用の投影ヘッドを用いて情報を分離して学習するため、冗長な特徴学習が発生し、モデルの効率が低下します。STARは、投影ヘッドを専門家としてモデル化し、これにより情報の特化と共有を可能にします。実験結果として、STARを利用することで、異なる移転学習タスクでの性能が向上したことが示されています。特に、等変と不変の埋め込みの間の標準的相関が低下し、冗長な特徴学習が減少することが確認されています。