arXiv cs.LG

ExPairT-LLM: ペアワイズクエリによるLLMコード選択の正確な学習

ExPairT-LLM: Exact Learning for LLM Code Selection by Pairwise Queries

http://arxiv.org/abs/2511.10855v1


ExPairT-LLMは、最近の大規模言語モデル(LLM)の進展にもかかわらず、依然として難しいコード生成タスクに対して新たなアプローチを提案するアルゴリズムです。従来のコード選択アルゴリズムは、LLMが生成した複数のプログラムの中から最適なものを選び出しますが、同等でないプログラムを誤って識別したり、LLMの出力を信頼しすぎたりするため、正しいプログラムを特定できない場合があります。ExPairT-LLMは、ペアワイズメンバーシップとペアワイズ同等性という二種類の新しいクエリをLLMオラクルに投げかけることによって、正確なプログラム選択を実現します。この手法は、LLMの誤りに対して強靭性を持っており、トーナメント方式で正しいプログラムを特定します。実験では、ExPairT-LLMは4つの人気コードデータセットで評価されており、従来の最先端アルゴリズムよりも平均13.0%、最大27.1%高い成功率を示しており、複雑な推論を行うLLMの成功率も24.0%向上させています。