arXiv cs.LG

BOFA: CLIPベースのクラス逐次学習のためのブリッジレイヤー直交低ランク融合

BOFA: Bridge-Layer Orthogonal Low-Rank Fusion for CLIP-Based Class-Incremental Learning

http://arxiv.org/abs/2511.11421v1


クラス逐次学習(CIL)は、以前の知識を忘れずに新しいカテゴリを継続的に学習することを目指しています。CLIPのような視覚と言語のモデルは、多モーダルな監視を通じて強力な転送可能な表現を提供しますが、CILへの適用には主に二つの課題があります。一つは、下流タスクへの適応には追加の学習可能なモジュールが必要になり、モデルの複雑さや忘却のリスクが増すことです。もう一つは、視覚とテキストのモダリティを効果的に統合する方法が未だ確立されていないことです。これらの課題に対処するために、著者たちはBOFA(Bridge-Layer Orthogonal Fusion for Adaptation)という新しいフレームワークを提案します。BOFAは、CLIPの既存のクロスモーダルブリッジレイヤー内でのみモデルを適応させることで、追加のパラメータや推論コストを加えず、安定した知識の蓄積を促進します。実験結果において、BOFAは従来の方法と比較して優れた精度と効率を達成しています。