証明可能なロバスト性のためのリプシッツ依存の線形性グラフティング

リプシッツ定数は、証明可能なロバスト性において重要な特性であり、小さい値はモデルが予測に自信を持つ際に対敵例に対するロバスト性を示します。しかし、最悪のケースの対敵例を特定することはNP完全問題であり、誤差を減少させることが大きな課題となっています。本研究では、非線形活性化関数に線形性をグラフすることが誤差を効果的に減少させる手法であるとし、証明可能なロバスト性を改善する理由を理論的に説明します。具体的には、$l_ ext{∞}$のローカルリプシッツ定数の観点から線形性グラフティングがロバスト性を向上させる理由と、主要な誤差源である非線形活性化関数への線形性の導入がローカルリプシッツ定数を引き締めることに寄与することを示します。結果、線形性を導入することでローカルリプシッツ定数を改善し、証明可能なロバスト性を向上させる新しい手法が提案されます。