この記事では、離散確率変数のエントロピー推定という問題に取り組んでいます。この問題は情報理論や関連分野において基本的なものであり、機械学習や統計、データ圧縮など多くの応用があります。従来の推定手法には限界があり、特にサンプル数が少ない場合に困難を伴います。本研究では、McAllesterおよびStatosによる2020年の研究をベースにした実用的な解決策を提案し、深層ニューラルネットワークの交差エントロピー推定を利用してエントロピー推定の精度を向上させました。また、条件付きエントロピーや相互情報量などの関連する情報理論的な指標に対する推定器も導入し、様々な利用ケースでその性能を示しました。さらに、大きなアルファベットのエントロピー推定や条件付き相互情報量推定、転送エントロピー推定についても焦点を当てています。提案された推定器は、従来の手法と比較して優れた性能を示しました。