arXiv cs.AI

対照学習の拡張重複理論

An Augmentation Overlap Theory of Contrastive Learning

http://arxiv.org/abs/2511.03114v1


最近、自己教師ありの対照学習は様々なタスクで大きな成功を収めていますが、その背後にあるメカニズムはまだ明確ではありません。本論文では、条件付き独立の広く採用されている仮定に基づいて最も厳しい境界を提供し、その後、条件付き独立の仮定をより実用的な拡張重複の仮定に緩和して、下流パフォーマンスの漸近的な閉じた境界を導出します。提案された拡張重複理論は、積極的なデータ拡張の下で異なるクラス内サンプルのサポートがより重複するという洞察に基づいており、ポジティブサンプル(同じサンプルの拡張ビュー)を単純に整列させることで対照学習がクラス内サンプルを集約できることを示しています。また、新たに導出された拡張重複の視点から、対照学習の表現評価のための教師なしメトリックを開発し、追加のモジュールにほとんど依存せずに下流パフォーマンスと良く整合することが示されています。