arXiv cs.LG

確率投影と量子化によるCMIベースの一般化境界の厳密化

Tighter CMI-Based Generalization Bounds via Stochastic Projection and Quantization

http://arxiv.org/abs/2510.23485v1


本稿では、確率投影と損失のある圧縮を用いて、統計的学習アルゴリズムの一般化誤差に関する新しい条件付き相互情報量(CMI)の境界を導出することを目指しています。この境界は、従来のものよりも一般に厳密であることが示されています。特に、従来のMIおよびCMIの境界が無意味になったり、正しい一般化挙動を説明できなくなる特定の問題のインスタンスに対し、新たに導出された境界は、訓練データセットのサイズ n に対してオーダー O(1/√n) の適切な一般化保証を提供することを証明しています。また、本研究では、過去の研究で提起されたデータの「暗記」問題を調査し、良好な予測を行う任意の学習アルゴリズムにおいて、大きな割合の訓練データセットを「暗記」しなければならないような分布が存在することを示しています。最後に、任意の学習アルゴリズムに対して、「暗記」を行わず、比較可能な一般化誤差を持つ補助アルゴリズムが存在することを示し、良好な一般化には暗記が必須ではないことを部分的に証明しています。