arXiv cs.LG

REMIND: 入力損失風景がポストアンラーニングLLMにおける残余記憶を明らかにする

REMIND: Input Loss Landscapes Reveal Residual Memorization in Post-Unlearning LLMs

http://arxiv.org/abs/2511.04228v1


この記事では、機械学習モデルのアンラーニング(特定のトレーニングデータの影響を排除するプロセス)において、モデルが本当に対象データを忘れたかどうかを評価する新しい手法「REMIND」を提案しています。従来の評価法は個々の入力レベルでの忘却を評価するため、意味的に類似した例からの残余影響を見逃すことがあります。このような影響はプライバシーの漏洩につながる危険があります。REMINDは、モデルの損失を小さな入力変動に対して分析することで、忘却が有効に機能しているかどうかを判別します。この手法では、忘れられていないデータがより鋭い損失の変化を示すことが明らかになり、実際の運用においても強力であることが示されています。REMINDは、言語モデルにおける忘却効果の評価においてより敏感で解釈可能な指標を提供し、記憶とアンラーニングに関する新たな視点を示しています。