arXiv cs.AI

RLIE: 大規模言語モデルのためのロジスティック回帰、反復精緻化、および評価によるルール生成

RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models

http://arxiv.org/abs/2510.19698v1


本記事では、RLIEというフレームワークを提案しています。RLIEは、大規模言語モデル(LLM)と確率的モデリングを統合し、重み付きルールの集合を学習するための手法です。RLIEは4つのステージから成り立っています。まず、LLMが候補となるルールを提案しフィルタリングを行うルール生成、次いでロジスティック回帰によりグローバルな選択とキャリブレーションのための確率的重みを学習します。次の段階として、予測誤差を用いてルールセットを更新する反復精緻化を行い、最後に重み付きルールセットを他の手法と比較する評価を行います。実際のデータセットに対して複数の推論戦略を評価した結果、学習した重みを用いたルールの直接適用が優れた性能を示しましたが、LLMにルールや重みを与えると精度が低下することが分かりました。この研究は、LLMが意味生成や解釈に秀でながら、正確な確率統合においては信頼性が低いことを示唆しています。