変分コピュラモデルによるクロスモーダルアライメント

本研究では、医療データなどの多様なデータモダリティを効率的に統合するための新しい手法として、変分コピュラモデルを用いたクロスモーダルアライメントの枠組みを提案しています。これにより、異なるモダリティの表現を適切に整合させ、結合分布として融合することが可能になります。従来の手法では、モダリティ間の相互作用構造が過度に単純化されており、本研究はより複雑な相互作用をモデル化する必要性を指摘しています。コピュラは変数間の相互作用をモデル化するための強力な統計構造であり、異なるモダリティの周辺分布を効率的に整合させる手段として機能します。本手法は、各モダリティに対してガウス混合分布を仮定し、結合分布に対してコピュラモデルを適用することで、欠損したモダリティに対しても正確な表現を生成できることを示しています。MIMICデータセットにおける実験では、提案手法が他の競合モデルに対して優れた性能を示しました。