arXiv cs.AI

非推奨! コード生成における言語モデルの知識対立を理解し、検出し、導く

That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation

http://arxiv.org/abs/2510.19116v1


本論文では、大規模言語モデル(LLMs)が、パラメトリックな知識とプロンプトに含まれる矛盾情報の間でどのように挙動するかについて探求しています。特に、過去の質問応答研究を基に、知識の対立をコード生成の分野に拡張しています。私たちは、知識対立を構築し解釈するためのドメイン非依存のフレームワークと、コード対立シナリオに特化した新しい評価方法およびデータセットを提案しました。実験の結果、十分に大きなLLMsは知識対立をパラメータにエンコードしており、知識対立を最大80.65%の精度で検出できることが示されました。さらに、活性化レベルの操作により、無作為なベースラインに対して最大12.6%の改善が見込まれることも明らかになりました。しかし、効果的な結果はモデルのサイズ、タスクドメイン、操作方向のバランスに依存しています。本研究は、学術誌受理後にコードとデータを一般公開する予定です。