この記事では、緊急医療サービス(EMS)における質問応答システムのパフォーマンス向上を目的とした新たなアプローチ、EMSQAを紹介しています。 EMSQAは、10の臨床分野と4つの認証レベルをカバーする24,300の質問からなるデータセットと、40,000の文書からなる知識ベースを活用します。著者たちは、(i) 特定の臨床分野と認証レベルに基づくChain-of-Thought(CoT)推論の条件付けを行う「Expert-CoT」、および(ii) 対応する文書と実データに基づいて応答を強化する「ExpertRAG」という2つの手法を提案しています。実験結果によれば、Expert-CoTは従来のCoTと比べて最大2.05%の精度向上が見られ、Expert-CoTとExpertRAGを組み合わせることで最大4.59%の改善が実現されています。特に、32Bの専門知識を持つLLMは、すべてのEMS認証シミュレーション試験に合格しました。