arXiv cs.LG

Tab-PET: 表形式トランスフォーマーのためのグラフベースの位置エンコーディング

Tab-PET: Graph-Based Positional Encodings for Tabular Transformers

http://arxiv.org/abs/2511.13338v1


この記事では、表形式のデータにおける教師あり学習の課題と、それに対する新しいアプローチであるTab-PETを提案しています。表形式データは、視覚や言語タスクとは異なり、構造的な手掛かりを欠いているため、自己注意メカニズムの効果が制限されます。最近のトランスフォーマーベースのモデルは一定の成果を上げていますが、位置エンコーディング(PE)が活用されていない場合が多いです。本研究では、PEを導入することで、特徴の効果的なランクを低下させ、一般化性能が向上することを理論的および実証的に示しています。Tab-PETは、グラフトポロジーからPEを推定し埋め込むためのフレームワークであり、2つの推定アプローチ(相関ベースおよび因果関係ベース)を検討しました。実験の結果、相関ベースのグラフがより安定した改善を示すことが確認されました。本研究は、表形式トランスフォーマーにおけるPEの重要性を明らかにし、一般化の向上に寄与する方法を探求しています。