本論文では、因果発見が科学の多くの領域で重要であるにもかかわらず、実世界のデータから因果情報を抽出することが依然として大きな課題であることに着目しています。特に、TabPFNというトランスフォーマーベースの表形式基盤モデルが、構造的因果モデルから生成された合成データセットで事前学習されており、その内部表現に因果情報が符号化されているかどうかを調査しています。著者らは、学習可能なデコーダーと因果トークンを用いたアダプター・フレームワークを開発し、TabPFNの凍結された埋め込みから因果信号を抽出し、因果発見のための隣接行列にデコードしています。評価の結果、TabPFNの埋め込みには因果情報が含まれており、従来の因果発見アルゴリズムよりも優れた性能を示すことが確認されました。この成果は、解釈可能で適応可能な基盤モデルの新たな方向性を示し、事前学習された表形式モデルを用いた因果発見の可能性を実証するものです。