低ランク適応(LoRA)は、パラメータ効率の良いファインチューニング手法として広く使用されていますが、既存のLoRAのバリエーションは、学習された低ランクサブスペース内でタスク関連情報を明示的に区別するメカニズムを欠いているため、下流のパフォーマンスが制限される可能性があります。本論文では、因子化変分オートエンコーダLoRA(FVAE-LoRA)を提案します。これは、VAEを利用して二つの異なる潜在空間を学習し、証拠下限(ELBO)の新しい定式化を通じて潜在空間間の因子分解を促進します。一方の潜在空間はタスクに重要な特徴に、もう一方は残余情報に特化されます。テキスト、音声、画像タスクに関する広範な実験により、FVAE-LoRAは標準的なLoRAを一貫して上回る性能を示し、スパリウス相関評価においても、それがタスク関連の信号をより良く分離することを確認しました。これにより、分布のシフトに対するロバスト性が向上します。