この記事では、マルチティーチャー蒸留を用いてタスク非依存の表現を学習する新しいフレームワークを提案しています。従来の多様な埋め込みモデルは、アーキテクチャや損失関数、入力モダリティ、データセットの違いから生まれ、それぞれが入力のユニークな側面を捉えます。提案されたフレームワークは、教師の埋め込みの相互情報量に基づく「多数決」目的関数を使用し、タスク特有のラベルや事前知識への依存を排除します。テキストや視覚モデル、分子モデリングでの評価により、このアプローチが教師の多様性を効果的に活用し、分類、クラスタリング、回帰などの下流タスクでのパフォーマンス向上を実現することが示されています。また、最先端の埋め込みモデルを訓練・公開し、さまざまなモダリティでのパフォーマンスを向上させています。