本研究では、テーブルデータに対する効果的なニューラルモデルの構築における課題を克服するために、Orion-MSPと呼ばれる新しいアーキテクチャを提案します。テーブルデータは現実世界で広く利用されていますが、特徴の多様性と複雑な相互作用があるため、効率的な処理が難しいです。これに対処するため、Orion-MSPには以下の三つの革新が含まれています：(1) ヒエラルキー的な特徴相互作用を捉えるためのマルチスケール処理、(2) スケーラビリティと長距離接続を可能にするブロックスパースアテンション、そして(3) コンポーネント間の双方向情報フローを実現するためのPerceiverスタイルのメモリ。これらの要素により、Orion-MSPは高次元のテーブルに対しても優れた性能を発揮し、効率的なテーブル形式の文脈内学習の標準を確立します。