arXiv cs.LG

クロスモーダル検索のための堅牢で調和の取れた適応に向けて

Toward Robust and Harmonious Adaptation for Cross-modal Retrieval

http://arxiv.org/abs/2511.14416v1


本論文では、クロスモーダルリトリーバル(CMR)の領域における一般からカスタマイズへのアプローチの限界について論じています。従来のCMR手法は、ターゲットドメインの全データが利用可能であることを前提としており、実際のシナリオではしばしばこの前提が崩れ、クエリシフト(QS)の問題に直面します。具体的には、オンラインシフトと多様なシフトの二つの特性。著者らは、QSが適応プロセスの中でモデルが一般知識を忘れる原因となることに着目し、オンラインかつ調和の取れた適応を実現する新たな手法「REST(Robust adaptation with quEry ShifT)」を提案します。RESTは、リトリーバル結果を精緻化し、QSに強い目的関数を設計することでオンラインシフトに対応し、さらにグラデーションデカップリングモジュールを用いて多様なシフトに対処します。20のベンチマークでの実験により提案手法の効果が確認されました。