FuseFlowは、ストリーミングデータフロー向けに設計されたスパース深層学習モデルのためのコンパイラフレームワークです。このフレームワークは、PyTorchで書かれたスパースな機械学習モデルを統合されたスパースデータフローグラフに変換し、再構成可能なデータフローアーキテクチャ(RDA)に対応しています。FuseFlowは、スパース操作の交差融合をサポートする初めてのコンパイラであり、カーネル間の融合のほか、並列化やデータフローの順序付け、スパース性のブロッキングといった最適化も支援します。4つの実世界の機械学習アプリケーションでのデザインスペースの探求により、全体的な融合がスパースモデルには必ずしも最適ではないことを示し、融合の粒度はモデルに依存することが明らかになりました。FuseFlowを用いることで、GPT-3に対して約2.7倍のスピードアップを達成しました。