MLPerf Automotiveは、自動車システムでのAI加速に適用される機械学習システムを評価するための初の標準化された公開ベンチマークです。このベンチマークは、MLCommonsと自律走行車両コンピューティングコンソーシアムによる協力的な取り組みを通じて開発され、自動車機械学習システムにおける標準化された性能評価手法の必要性に応えています。従来のベンチマークスイートは、自動車特有の安全性やリアルタイム処理といった固有の制約から利用できませんでした。今回のベンチマークフレームワークは、さまざまなハードウェアプラットフォームおよびソフトウェア実装における一貫性のある再現可能な性能比較を可能にするレイテンシおよび精度のメトリクスを提供します。初版は2D物体検出、2Dセマンティックセグメンテーション、3D物体検出といった自動車の認識タスクから成り立っています。この記事では、タスク選択、基準モデル、提出ルールなどベンチマーク設計の方法論が説明され、データセットの取得や基準実装の開発における課題についても議論されています。