この記事では、AMD MI300Xのためのカスタムカーネルの作成方法について解説しています。ChatGPTが扱う膨大なリクエストに対して、効率的なモデルの最適化が求められる中、特にカーネルレベルでの最適化が重要です。カーネルとは、ニューラルネットワークの各操作を実行するアルゴリズムであり、これを適切に設計することで性能が大きく向上します。AMDと提携し、Llama 3.1 405BモデルのFP8形式の運用に特化したオープンソースの最適化カーネルを開発しました。記事には、最適化されたカーネルの使用方法や、パフォーマンス向上の実績が詳述されており、ベンチマークスクリプトやテストスイートを用いて効果の再現が可能です。また、これらのカーネルはVLLMプロジェクトに統合される予定です。