arXiv cs.LG

閉じた語彙モデルにおけるタスク追加と重みの非絡み合い

Task Addition and Weight Disentanglement in Closed-Vocabulary Models

http://arxiv.org/abs/2511.14569v1


本論文では、閉じた語彙画像分類モデルにおけるタスク追加と重みの非絡み合いについて探求します。最近、タスク算術という手法が、事前学習済みのオープンバキャボキャリー(多様なタスクを効率よく扱うモデル)に対する編集手段として注目されていますが、閉じた語彙モデルへの適用は未研究です。本研究では、異なる事前学習方式を考慮し、重みの非絡み合いという特性が、さまざまな事前学習された閉じた語彙モデルに普遍的に現れることを発見しました。さらに、事前学習された視覚トランスフォーマーでもタスク算術を用いた編集が可能であり、高いタスク追加性能を達成しています。これにより、複数のタスクモデルの効率的な運用が実現できることが示されています。