arXiv cs.LG

差分プライバシーに基づく深層転移学習の最適ハイパーパラメータについて

On Optimal Hyperparameters for Differentially Private Deep Transfer Learning

http://arxiv.org/abs/2510.20616v1


本論文では、差分プライバシー(DP)を考慮した転移学習における最適なハイパーパラメータ、特にクリッピングバウンド$C$とバッチサイズ$B$に焦点を当てています。著者たちは、理論的な理解と実際のパフォーマンスの間に不一致があることを指摘しています。具体的には、強いプライバシーを求めるとクリッピングバウンドを小さくする必要があるという理論と、より大きな$C$が強いプライバシー下でより良い結果を出すという実証結果が食い違っていることです。また、固定された計算予算の下で、既存のバッチサイズの調整手法が通用しないことや、DPノイズの累積が小さいバッチと大きいバッチのパフォーマンスに与える影響についても検討しています。最終的に、異なるプライバシーレベルや計算リソースによって最適な$(C,B)$設定が変わることを示唆し、クリッピングが勾配の再重み付けの一形態であることを通じて説明しています。