GraphNetは、実世界の深層学習計算グラフで構成される2.7Kのデータセットであり、メタデータが豊富で、6つの主要なタスクカテゴリにわたる複数の深層学習フレームワークをカバーしています。この記事では、テンソルコンパイラの性能評価のために、新たなベンチマーク指標「Speedup Score S(t)」を提案し、実行速度の向上と実行正確性を調整可能な許容範囲の下で共同で評価します。さらに、エラー情報を取り入れた「Error-aware Speedup Score ES(t)」を用いて、コンパイラ開発者が主要な性能ボトルネックを特定できるように支援します。実験として、デフォルトのテンソルコンパイラであるCINN（PaddlePaddle用）とTorchInductor（PyTorch用）を使用し、コンピュータビジョンと自然言語処理のサンプルでGraphNetの実用性を示すベンチマークを行いました。