タスク非依存の埋め込みモデルを比較するための表データ

本研究では、タブラー（表形式）データにおけるタスク非依存の埋め込みモデルを比較しています。近年の基盤モデルは、インコンテキスト学習を通じて特定のタスクにおいて優れた性能を発揮しますが、予測のためにリソース集約型のネットワークを使用しており、表現学習とタスク特異的推論を一つにまとめている点が課題です。本研究では、代表的なタスク非依存の表現を、タブラー基盤モデル（TabPFN、TabICL）と従来の特徴エンジニアリング技術（TableVectorizer）と比較し、異なるアプリケーションタスク（異常検出や教師あり学習）で評価しています。その結果、シンプルなTableVectorizerの特徴が、基盤モデルに匹敵するあるいはそれ以上の性能を示しながら、最大で三桁の速度向上を達成することが分かりました。