本論文では、ロボットの一般化能力を評価するための新たなベンチマーキングフレームワークを提案しています。従来のロボットポリシーの実世界でのテストは労力を要し、再現性が低く、危険を伴うことが多いのに対し、本研究は視覚と言語のモデルや生成モデリングを活用し、広く使用されるロボットデータセットのビデオデモをシミュレーション環境に変換します。これにより、ロボットのポリシーを自動で評価し、人間の好みの判断を収集することで、実世界でのロボット操作ポリシーの評価を進化させることが可能になります。また、シミュレーション環境を系統的に変化させることでポリシーの堅牢性を測定し、スケーラブルかつ再現性のあるベンチマークを構築します。このアプローチは、ロボットが多様なタスクを実行する能力を実際のデモンストレーションに基づいて評価する新しい方法を提供します。