MMA-Sim: テンソルコアとマトリックスコアのビット正確なリファレンスモデル

この記事では、深層ニューラルネットワーク（DNN）の計算要求が増加する中、NVIDIAのテンソルコアやAMDのマトリックスコアなどの行列乗算加速器（MMA）が最新のGPUに統合されている背景が述べられています。しかし、浮動小数点行列乗算に関する文書化されていない算術仕様のため、一部のMMAは数値の不正確さや不一致を引き起こし、DNNのトレーニングや推論の安定性や再現性に影響を及ぼす可能性があります。これに対処するために、MMA-Simという初のビット正確なリファレンスモデルが提案され、十のGPUアーキテクチャからMMAの詳細な算術挙動が明らかにされました。MMA-Simを使用することで、DNNトレーニングの安定性に影響を与える算術的挙動を調査し、重大なエラーにつながる可能性のある文書化されていない動作を特定しています。