本記事では、物理的な状況下での人間とAIのコラボレーション研究を促進するためのデータセット「SigmaCollab」を紹介しています。このデータセットは、未訓練の参加者85名が混合現実のアシストAIエージェントに導かれながら物理的な作業を行った85セッションで構成されています。データは、参加者とシステムの音声、頭部装着デバイスからのエゴセントリックカメラ映像、深度マップ、頭や手の動き、視線追跡情報などの豊富で多様なデータストリームを含んでいます。データセットのサイズは約14時間と小規模ですが、アプリケーション駆動型でインタラクティブな性質により、人間とAIのコラボレーションにおける新たな研究課題を浮き彫りにし、この分野での様々なAIモデルのより現実的なテスト環境を提供します。今後は、このデータセットを用いて物理的な状況下でのコラボレーションのベンチマークを構築する予定です。