本稿では、自己教師あり学習を用いた表現学習のための新しいアーキテクチャである“Diffusion Autoencoder with Perceivers”（daep）を提案します。従来の手法は正規にサンプリングされた入力データ（画像や音声、動画など）のみを対象としていましたが、多くの科学分野ではデータが長く、不規則で、多モーダルなシーケンスで提供されます。daepは、異なる測定値をトークン化し、パーセプターエンコーダーを用いて圧縮し、パーセプターIO拡散デコーダーで再構築します。これにより、多様なデータ設定でのスケーラブルな学習が可能となります。さまざまな天文学的データセットを対象にした実験において、daepは低い再構築誤差を示し、より優れた潜在空間を生成し、微細構造の保存も優れていることが示されました。これにより、daepは不規則かつ異質なシーケンスとして得られるデータの科学分野において有効なフレームワークとされています。