基盤モデルは言語や視覚における機械学習を変革しましたが、物理シミュレーションにおいては同等の影響を達成するのが難しいことが課題です。本研究では、この問題に対して、新たなアプローチを取り入れた「Walrus」というトランスフォーマーベースの基盤モデルを開発しました。Walrusは流体のような連続体ダイナミクスに特化しており、天体物理学や地球科学、流体力学など19の異なるシナリオで事前学習されています。実験によって、Walrusは短期および長期予測において以前の基盤モデルを上回る性能を示し、安定性や学習の効率性、転送性能の向上が確認されました。コミュニティ向けにコードと重みも公開されています。