arXiv cs.AI

直列化の迷路:LLMグラフ推論器の不変性と一般化

Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners

http://arxiv.org/abs/2511.10234v1


この研究は、大規模言語モデル(LLM)に基づくグラフ推論器がグラフ表現の対称性に対する内在的な不変性を欠いていることを指摘しています。LLMは直列化されたグラフデータに依存しており、ノードの再インデックスやエッジの順序変更、フォーマットの変化によって異なる出力を生成することがあり、これがロバスト性の懸念を引き起こします。本研究では、ファインチューニングがエンコーディング感度と見えないタスクに対する一般化に与える影響を体系的に分析し、グラフの直列化をノードラベリング、エッジエンコーディング、構文に分解する提案を行います。ベンチマークスイートを用いてロバスト性を評価した結果、大きなモデルがよりロバストであることが示されました。ファインチューニングはノードのラベル変更への感度を低下させることができますが、構造やフォーマットの変化に対しては感度が増す可能性があり、一貫して未見のタスクのパフォーマンスを改善するわけではないことがわかりました。