本研究は、Adobe Summit向けに開発されたドメイン特化型AIアシスタント「Summit Concierge」の評価について述べています。このアシスタントは、イベント関連の幅広い問い合わせに対応し、データの希薄性、クオリティアシュアランス、迅速なデプロイメントといった現実の制約下で機能します。これらの課題に対処するために、プロンプトエンジニアリング、リトリーバルグラウンディング、軽量な人間による検証を組み合わせたヒューマンインザループの開発ワークフローを採用しています。システムアーキテクチャと開発プロセス、実世界でのデプロイ結果についても詳述します。アジャイルでフィードバックに基づく開発アプローチを通じて、コールドスタートシナリオでもスケーラブルで信頼性の高いAIアシスタントを実現できることが示されています。