arXiv cs.LG

拡散モデルにおける記憶化と一般化の実証的分離

Provable Separations between Memorization and Generalization in Diffusion Models

http://arxiv.org/abs/2511.03202v1


本研究では、拡散モデルにおける記憶化と一般化のメカニズムについての理論的理解を深めることを目的としています。拡散モデルはさまざまな領域での成功を収めているものの、トレーニングデータを再現する記憶化に脆弱であり、これは創造性を制限し、プライバシーや安全性への懸念を引き起こします。本稿では、統計推定とネットワーク近似の2つの視点からのデュアル分離結果を通じてこのギャップに対処しています。具体的には、真のスコア関数が経験的なデノイズ損失を最小化しないことを示し、記憶化を促進する分離を生じさせる一方で、経験的スコア関数を実装する際にネットワークのサイズがサンプルサイズに依存することを証明しました。これに基づき、記憶化を削減しつつ生成品質を維持するプルーニング法を提案しています。