arXiv cs.LG

非線形近似および(ディープ)ReLUネットワーク

Nonlinear Approximation and (Deep) ReLU Networks

http://arxiv.org/abs/1905.02199v1


この記事はディープニューラルネットワークの近似能力と表現力に関する研究を取り扱っています。文献では、ニューラルネットワークが古典的な滑らかさを持つ関数を、古典的な線形近似法と同等の精度で近似できることが示されています。しかし、ニューラルネットワークによる近似は非線形近似の一形態であり、他の非線形手法(例:変数結び目スプラインや辞書からのn項近似)と比較されるべきです。この研究は、ニューラルネットワークが従来の非線形近似法よりも優れた近似能力を持つことを証明しています。具体的には、古典的な非線形手法が困難とする関数をニューラルネットワークが効率よくキャプチャできることを示す大規模な関数クラスを示しています。この記事では1変数関数のReLUネットワークによる近似に焦点を当てていますが、他の活性化関数や多変数関数への一般化も考えられます。