arXiv cs.AI

神経多様性が小規模モデルの幻想を規制する

Neural Diversity Regularizes Hallucinations in Small Models

http://arxiv.org/abs/2510.20690v1


言語モデルは、パラメータや計算能力、データ量を増やしても幻想を抱く傾向が続いています。本論文では、神経多様性(デコリレーテッド並列表現)を用いた手法が幻想率を低減させる原理的メカニズムであることを提案しています。ポートフォリオ理論に触発され、この多様性はリスクを軽減する要因となり、言語モデルの幻想確率は表現的相関によって制約されます。我々の提案するND-LoRA(神経多様性低ランク適応)は、並列LoRAアダプタとバーロー・ツインズ正則化を組み合わせ、幻想を最大25.6%低減することを実証しています。異なるタスクでは異なる量の神経多様性が必要であることが示されており、神経多様性はパラメータやデータとは別の軸で言語モデルの信頼性を向上させる重要な要素であると結論づけられています。