モデルベースの強化学習(RL)手法は、探索を活用することによって数々の重要な進展をもたらしました。最近、順次モンテカルロ(SMC)がモンテカルロツリー探索(MCTS)の代替手法として注目されています。SMCは並列化が容易でGPU加速に適していますが、大きな分散と経路の退化に悩まされており、検索深度が増すとスケールしにくい問題があります。これらの問題を解決するために、本論文では二重逐次モンテカルロツリー探索(TSMCTS)を提案し、離散および連続環境において、TSMCTSはSMCのベースラインやモダンなMCTS版よりもパフォーマンスが向上することを示しています。分散の削減と経路退化の軽減により、TSMCTSは逐次計算を維持しつつ、SMCの並列化に自然な特性を保つことができます。