arXiv cs.AI

自己進化型大規模言語モデルのための堅牢な不確実性定量化と継続的ドメイン事前学習

Robust Uncertainty Quantification for Self-Evolving Large Language Models via Continual Domain Pretraining

http://arxiv.org/abs/2510.22931v1


本論文では、自己進化型大規模言語モデル(LLMs)が迅速な知識の成長に適応し効果的であり続けるためには、継続的学習(CL)が重要であると述べられています。しかし、継続的ドメイン事前学習(CDP)の設定における統計的な信頼性保証の確立にはあまり注目がされていません。コンフォーマル予測(CP)はLLMsに対して正確性の保証を提供する可能性を示していますが、CDPにおいては未知のドメイン分布から来るテストデータにより、CPが有効な保証を提供できないという課題があります。これを解決するために、著者たちは適応的拒否と非交換可能なCPフレームワークを提案しました。実験により、このフレームワークがCDPシナリオにおいてCPの効果と信頼性を向上させることが実証されています。