arXiv cs.AI

一般和ゲームにおける粗い相関均衡へのほぼ最適収束

Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games

http://arxiv.org/abs/2511.02157v1


この研究は、ゲーム理論におけるノーリグレット学習ダイナミクスが中心的な役割を果たすことを踏まえ、一般和のマルコフゲームにおける粗い相関均衡(CCE)への収束速度を改善することを目指しています。具体的には、これまでの最良の収束速度である$ extmath{O}( extmath{ ext{log}}^5 T / T)$を新たに$ extmath{O}( extmath{ ext{log}} T / T)$に短縮し、イテレーション数で見ると相関均衡(CE)に対する最良の収束速度と一致します。あわせて、アクションセットのサイズに対する依存性を多項式から多対数的に改善し、高次元設定での指数的な利得をもたらしています。このアプローチは、通常形式ゲームのためのノーリグレットアルゴリズムにおける適応ステップサイズ技術の最近の進展に基づき、実時間のフィードバックに基づいて学習率を調整する段階的なスキームを通じてマルコフ的な設定に拡張されています。この結果、自プレイアルゴリズムは、マルコフゲームにおけるCCEへの最速の収束速度を達成したとされています。