arXiv cs.LG

PRSM: CLIPのパラフレーズに対するロバスト性を評価するための指標

PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases

http://arxiv.org/abs/2511.11141v1


本論文では、Contrastive Language-Image Pre-training(CLIP)のパラフレーズに対するロバスト性を評価するための新しい指標、Paraphrase Ranking Stability Metric(PRSM)を紹介しています。CLIPはテキストと画像の表現を大規模にトレーニングすることで知られていますが、言語の変動に対するロバスト性、特にパラフレーズに対する耐性はこれまであまり研究されていませんでした。本研究では、Social Counterfactualsデータセットを使用して、CLIPがパラフレーズされたクエリに対してどの程度安定しているかを実証的に評価し、パラフレーズのロバスト性と性別の関連について調査しています。結果として、ロバスト性は異なるパラフレーズ戦略によって異なり、性別によるクエリにおいて微細ながら一貫した差異が観察されました。この研究は、多モーダルシステムの公正で平等な展開に対する示唆を提供します。