arXiv cs.LG

二層ReLUニューラルネットワークにおける勾配上昇を用いた証明可能な忘却

Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks

http://arxiv.org/abs/2510.14844v1


本論文では、機械学習における特定データの削除、すなわち機械の忘却に関する理論的分析を行っています。勾配上昇法という広く使用される手法を用い、特定のデータポイントの影響を逆転させる方法を提案します。この方法は、完全に再学習を行うことなく、既存のモデルに対して適用可能です。さらに、マージン最大化問題のKKT条件を満たすソリューションに対する勾配降下法の暗黙のバイアスを活用し、忘却されたモデルの質を評価します。( extbf{ε, δ, τ}-成功)と呼ばれる新しい成功基準を提案し、線形モデル及び高次元データに対する二層ニューラルネットワークにおいて、適切にスケールされた勾配上昇ステップがこの基準を満たし、保持したデータに対して再学習されたソリューションに近いモデルを生成できることを示しています。加えて、合成ガウス混合環境においても一般化を保持しつつ、成功した忘却を実現することを明らかにしています。