arXiv cs.AI

相関行列のランクを用いた大規模言語モデルの推論経路の検証

Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank

http://arxiv.org/abs/2510.24299v1


大規模言語モデル(LLM)は強力な推論能力を持つが、エラーや幻覚を引き起こすことがあるため、その出力を効果的かつ効率的に検査する方法が重要な課題となっている。従来の検査方法は外部リソースに依存することが多く、計算負荷が高く、特定の領域にしか適用できない。この記事では、LLMの内部動作が推論経路の信頼性を示しているかを調査し、入力問題と出力推論経路の相関行列のランクが推論の正確性の頑健な指標であることを発見した。相関行列の計算はLLM自体のみに依存し、別モデルの訓練や複雑なプロンプトの設計を避けられる。また、簡単に使える自己指標法を設計し、候補の推論経路の重み付けを行い、他の投票や検証方法と比べて計算負荷を抑えつつ大きな性能向上を実現した。実験結果は、正しい推論経路と誤った推論経路の識別で75%以上の精度を達成し、三つの推論ベンチマークでの精度も8%以上向上した。