マルチモーダル融合アプローチの開発が、医療や金融など多くの実世界のシナリオでますます重要になっています。本記事では、各モダリティ内の特徴表現を維持しながら、クロスマルチモーダル相互作用を学習する課題が取り上げられています。従来のアプローチは主にクロスマルチモーダル整合性に焦点を当てていましたが、これに過度に重み付けすると有意義な表現を妨げる可能性があります。本研究は、リッチ-ゲッツ-リッチャー特性に基づくディリクレ過程（DP）混合モデルを用いることで、顕著な特徴を強化し、モダリティ間の整合性と顕著な intra-modal 表現学習の最適なバランスを自動的に実現する新しいDP駆動のマルチモーダル学習フレームワークを提案しています。多数の実験により、このモデルが他の競合よりも優れた性能を示すことが確認され、DPの有効性とロバスト性も実証されています。