因果深層Qネットワーク

本論文では、深層Qネットワーク（DQN）の限界を克服するために因果原則を統合した新しいアプローチである因果深層Qネットワークを提案しています。DQNは強化学習のさまざまなタスクで成功を収めているものの、関連学習に依存するため、誤った相関関係を学習することがあり、その問題解決能力が制限されていました。本研究では、PEACE（確率的簡易変分因果効果）式を用いて因果効果を推定し、トレーニング中に因果推論を導入することで、DQNが環境の因果構造をより良く理解できるようにします。このことで、混乱要因や誤った相関の影響を軽減し、問題解決能力を大幅に向上させることが示されています。実験結果から、提案手法が従来のDQNを上回る性能を発揮することが確認され、因果推論の効果が強化学習において重要であることが示されています。