本記事では、検索エージェントが曖昧なクエリにどのように対応できるかを評価するための新しいベンチマーク「InteractComp」を紹介します。従来の検索エージェントは、ユーザーのクエリが完全で明確であることを前提にしていますが、実際には多くのユーザーが不完全な情報や曖昧さを伴ったクエリを持っています。このようなクエリに対処するためのインタラクティブなメカニズムが多くのエージェントには欠けています。InteractCompでは、210の専門家が作成した質問を用いて、検索エージェントがクエリの曖昧さを認識し、対話を通じてそれを解決する能力を評価しました。17モデルの評価結果は、最良のモデルでも正解率はわずか13.73%であることが明らかになり、多くのモデルがインタラクションを通じての能力を活かせていないことが示されました。この研究は、検索エージェントのインタラクション能力を評価及び訓練するために貴重な資源となるでしょう。