VERA-MH（Validation of Ethical and Responsible AI in Mental Health）は、メンタルヘルス分野におけるAIチャットボットの安全性を自動評価するシステムを紹介する概念ペーパーです。特に自殺リスクの評価に重点を置いており、臨床医や学術専門家が、自殺リスク管理のベストプラクティスに基づいた評価基準を開発しました。このプロセスを完全自動化するために、二つの補助的AIエージェントを利用しています。ユーザーエージェントモデルは、評価中のチャットボットとメンタルヘルスをテーマにした会話を行うユーザーをシミュレートし、特定のペルソナをロールプレイします。そして、シミュレーションされた会話は、ルブリックに基づいて得点をつけるジャッジエージェントに渡されます。最終的な評価は、各会話の得点を集計することで得られます。VERA-MHは現在、メンタルヘルスの臨床医による厳密な検証を受けており、実際の患者としてユーザーエージェントが機能することを確認しています。今後は、さらに強固な臨床検証と実用的な得点の改善が予定されています。コミュニティからの技術的および臨床的なフィードバックも求めています。