arXiv cs.AI

ロシア語アーキテクチャの多モーダル評価

Multimodal Evaluation of Russian-language Architectures

http://arxiv.org/abs/2511.15552v1


本稿では、多モーダル大規模言語モデル(MLLM)が注目される中、ロシア語に特化した評価基準が存在しない現状に対処するため、Mera Multiというオープンな多モーダル評価フレームワークを提案しています。この評価基準は、テキスト、画像、音声、動画といった異なるモダリティを含む18の新しい評価タスクから成り立っています。主な貢献として、(i) 多モーダル能力の普遍的分類法、(ii) ロシアの文化と言語に特有のデータセットの作成、(iii) 閉じたソースとオープンソースモデルのためのベースライン結果、(iv) ベンチマーク漏洩を防ぐためのメソッドが挙げられています。この提案は、スラブ語族における多様な言語のベンチマーク構築のために再現可能な方法論を提供します。