arXiv cs.LG

学習可能な活性化関数を持つランダム特徴モデルの一般化特性について

On the Generalization Properties of Learning the Random Feature Models with Learnable Activation Functions

http://arxiv.org/abs/2510.15327v1


本論文では、学習可能な活性化関数を持つランダム特徴モデル(RFLAF)の一般化特性を研究しています。データ依存型のサンプリング手法を用いて特徴を生成することで、回帰および分類タスクにおけるRFLAFの学習に必要な特徴数に関する最も鋭い境界を提供します。特徴数$s$の複雑性を説明する統一定理を提示し、単純サンプリング手法とデータ依存型のレバレッジ加重サンプリングについての結果を議論します。加重サンプリングによって、MSE損失の場合の$s$の境界は$ ilde{ extOmega}((1/ extepsilon)^{1/t})$に改善され、さらにGram行列が有限ランクを持つ場合は$ extOmega(1)$に達します。リプシッツ損失の場合も同様に改善されています。また、加重RFLAFを学習するための近似カーネルを求めるアルゴリズムも提案されています。実験結果は、加重RFLAFが単純にサンプリングされたRFLAFと比べて著しく少ない特徴数で同等のパフォーマンスを達成することを示しており、本理論の妥当性とこの手法の有効性を検証しています。