本記事では、継続的なNVIDIA CUDAプロファイリングのためのオープンソースGPUプロファイラが紹介されています。このプロファイラは、従来のプロファイリング手法と比べて低オーバーヘッドであり、常時稼働させることが可能です。NVIDIA Nsightのような既存のツールは、詳細な情報を提供しますが、パフォーマンスに大きな負荷をかけます。そのため、Polar Signalsは、CUDAカーネルの実行をプロファイリングし、GPUの使用状況を低いオーバーヘッドで把握する方法を模索しました。この記事では、CUPTI、USDTプローブ、およびeBPFを活用した新しい手法を示しています。具体的には、CUPTIを利用してCUDA APIのコールをインターセプトし、USDTプローブを通じて得られたデータをeBPFに渡すことで、リアルタイムに必要な情報を収集する仕組みを構築しています。これにより、プロダクション環境でも性能を低下させることなく、動的にCUDAの性能を理解することが可能になります。