arXiv cs.AI

ChemO上のChemLabs: IChO 2025におけるマルチモーダル推論のためのマルチエージェントシステム

ChemLabs on ChemO: A Multi-Agent System for Multimodal Reasoning on IChO 2025

http://arxiv.org/abs/2511.16205v1


本稿では、国際化学オリンピック(IChO)2025から作成された新しいベンチマーク「ChemO」を導入しています。ChemOは、視覚的な出力を必要とする問題を計算可能な形式に変換する「Assessment-Equivalent Reformulation(AER)」と、モデルの視覚認識能力と化学的推論能力を分離する診断機構「Structured Visual Enhancement(SVE)」という2つの革新を特徴としています。これらの課題に取り組むために提案された「ChemLabs」は、人間の専門家の協力を模倣する階層的なマルチエージェントフレームワークであり、問題の分解、知覚、推論、監査のための専門エージェントを使用します。最先端のマルチモーダルモデルを用いた実験では、SVEとマルチエージェントシステムの組み合わせにより大幅な性能向上が実現され、最高の構成では100点中93.6点を達成しました。この結果は、推定される人間の金メダル基準を上回り、自動化された化学問題解決の新たな最先端を確立しています。