arXiv cs.LG

ジェンセン-シャノンとカルバック-ライブラーのダイバージェンスの結びつき: 表現学習のための新しい下限

Connecting Jensen-Shannon and Kullback-Leibler Divergences: A New Bound for Representation Learning

http://arxiv.org/abs/2510.20644v1


本研究では、相互情報量(MI)に関連するジェンセン-シャノンダイバージェンス(JSD)とカルバック-ライブラー(KLD)ダイバージェンスの関係を明らかにします。MIは統計的依存性の測定において重要ですが、その直接的な最適化は実行が困難です。従来は、JSDを最大化する方法が用いられてきましたが、JSDとMIとの関係が不明瞭でした。本稿では、JSDに基づく新たな緊密な下限をKLDに対して導出し、これによりJSDの最大化がMIの下限を保証することを示します。また、JSDを用いた目的の実装において、バイナリ分類器のクロスエントロピー損失を最小化することで、JSDの既知の変分下限を再構築できることを示します。実験により、提案した下限がMI推定において安定かつ低分散の見積もりを提供することが確認されました。これにより、MIに基づく表現学習における識別的学習の新たな理論的根拠を提供します。