arXiv cs.LG

オープンワールド機械学習における情報理論の基礎、フレームワーク、将来の方向性

Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction

http://arxiv.org/abs/2510.15422v1


オープンワールド機械学習(OWML)は、既知のカテゴリーを認識し、未知のサンプルを拒否し、新しい情報から継続的に学習する知能システムの開発を目指しています。本論文では、OWMLにおける情報理論的アプローチの包括的なレビューが行われており、エントロピー、相互情報量、クルバック・ライブラー情報量といった核心概念が、情報の獲得やリスク管理をどのように数理的に記述するかを強調しています。最近の研究は、未知のものを安全に拒否する情報理論的オープンセット認識、新しい概念形成を導く情報駆動型新奇発見、長期的適応を確保する情報保持型継続学習という三つの主要な研究軸に統合されています。また、情報理論と実証可能な学習フレームワークとの理論的な関連性についても議論し、オープンワールドインテリジェンスに向けた道筋を示しています。最後に、情報リスクの定量化や動的相互情報量バウンドの開発、因果推論との統合など、今後の研究課題が特定されています。