arXiv cs.LG

公開データを用いたプライベートゼロオーダー最適化

Private Zeroth-Order Optimization with Public Data

http://arxiv.org/abs/2511.10859v1


本稿では、パブリックデータを活用することでプライベートゼロオーダー最適化アルゴリズムの勾配近似を向上させる手法を提案します。従来のファーストオーダーのプライベート機械学習アルゴリズムは計算およびメモリコストが高く、プライバシー保護が難しいというボトルネックが存在しました。一方、ゼロオーダー法は関数評価を使って勾配を近似できるため、プライバシーの確保が容易です。本研究では、「Public-data-assisted zeroth-order optimizers (PAZO)」というアルゴリズム群を提案し、理論的な分析とともに、その有効性を実験的に示しました。特に、視覚およびテキストタスクにおいて、PAZOはプライバシーと効用のトレードオフを改善し、既存の最先端ファーストオーダー手法を上回る性能を実現しました。また、最大16倍の処理速度向上を示しました。