arXiv cs.LG

期待精度について

On Expected Accuracy

http://arxiv.org/abs/1905.00448v1


本稿では、分類タスクにおいて交差エントロピー(負の対数尤度)の代替損失関数として、期待精度の(負の)値を実証的に調査しています。ソフトマックス活性化と組み合わせることで、大部分の領域において微分が小さく、最適化が難しいことが示されています。修正されたリーキー版の期待精度は、手書き数字認識、画像分類、系列タグ付け、ツリータグ付けなど様々な分類タスクにおいて、ロジスティック回帰、マルチレイヤーパセプトロン、CNN、LSTM、Tree-LSTMといった様々なニューラルアーキテクチャを用いて評価されました。結果として、交差エントロピーと同等またはそれ以上の精度を実現できることが示されています。さらに、提案された目的関数はラベルノイズに対してもより堅牢であることが確認されています。