本記事では、GMoPE（Graph Mixture of Prompt-Experts）という新しいフレームワークが提案されています。このフレームワークは、Mixture-of-Experts（MoE）アーキテクチャとプロンプトベースの学習を組み合わせ、特定のサブドメインに特化したエキスパートがダイナミックに予測に貢献できるように設計されています。GMoPEは、専門家ごとのプロンプトベクトルおよび構造に基づいたMoEルーティングを活用し、エキスパートの多様性を促進するためにソフトな直交性制約を導入しています。また、プロンプトのみのファインチューニング戦略を採用し、転送中の空間的および時間的な複雑さを大幅に削減します。さまざまな事前学習戦略や複数の下流タスクにおいて、GMoPEは最先端のベースラインを一貫して上回る性能を発揮し、適応コストを大幅に抑えつつ、完全なパラメータのファインチューニングに匹敵する成果を達成しました。この研究は、汎用性が高く効率的なグラフ基盤モデルの進展に向けた理論的でスケーラブルなフレームワークを提供します。