arXiv cs.AI

プロアクティブでパーソナライズされたLLMエージェントのトレーニング

Training Proactive and Personalized LLM Agents

http://arxiv.org/abs/2511.02208v1


本研究では、既存の作業がタスク成功に優先して焦点を当てているのに対し、効果的な実世界エージェントは、生産性(タスク完了)、プロアクティビティ(重要な質問をすること)、パーソナライズ(多様なユーザープリファレンスに適応すること)の3つの次元を最適化する必要があると主張しています。そこで、LLMベースのユーザーシミュレーターを活用したインタラクティブな環境「UserVille」を提案し、PPP(生産性、プロアクティビティ、パーソナライズを共同最適化する多目的強化学習アプローチ)を導入しました。ソフトウェア工学や深い研究タスクにおける実験により、PPPで訓練されたエージェントは、GPT-5などの強力なベースラインに比べて平均21.6%の改善を示し、戦略的な明確化質問を行い、新たなユーザー嗜好に適応し、より良いインタラクションを通じてタスク成功を高める能力を示しています。この研究は、ユーザー中心のインタラクションを明示的に最適化することが、実用的で効果的なAIエージェントを構築するために重要であることを示しています。