タスク完了エージェントは理想的な協力者ではない

この記事では、タスク完了エージェントが実際の問題解決において理想的な協力者ではないという主張が展開されています。従来の評価方法は一度のタスク完了に重きを置いており、問題解決における反復的かつ協調的な性質を考慮していません。著者らは、タスク完了エージェントの開発から協調型エージェントの開発にシフトする必要があると主張し、最終的な出力の質だけでなく、ヒューマン・エフォートをどれだけ補完するかが重要であるとしています。また、協調的な努力のスケーリングという新たな枠組みを導入し、エージェントの有用性がユーザーの関与と共にどのように成長するかを示しています。研究において、最先端のエージェントが実世界のマルチターンシナリオでしばしば劣る結果を示すことが明らかになり、ユーザーとのエンゲージメントを維持する能力が欠けていることが指摘されています。この枠組みは、エージェントの行動を診断し、より効果的な相互作用を促進するための開発ガイドラインにもなります。