この記事では、教師なしドメイン適応を通じたクロスモダリティセグメンテーションの新しいフレームワークが提案されています。深層学習モデルはさまざまなビジョン課題において成功を収めていますが、未見のデータに適用するとパフォーマンスが大幅に低下することが知られています。この問題を解決するために、著者たちは埋め込み空間内でクラスごとのプロトタイプを学習し、類似性制約を導入することで各セマンティッククラスの代表性を持ちつつ、異なるクラスからの分離を実現します。また、異なる画像から抽出したプロトタイプを辞書に保存することでクラス欠落問題を防ぎ、コントラスト学習を促進し、性能を向上させます。実験によって、提案手法が最先端の技術よりも優れた結果を示すことが確認されています。