この研究では、データセット蒸留という手法を用いて、合成された小さな画像セットを利用し、特定のモデルをトレーニングすることで、大規模な実データセットで学習したモデルのパフォーマンスを再現することを目的としています。従来の蒸留法は、ランダムに初期化されたモデルのトレーニングを可能にするデータセットの合成に焦点を当てていましたが、最近の視覚アプローチは、大規模で事前学習された自己教師ありモデルを使用する方向に進化しています。本研究では、これらの事前学習されたモデルを基に、線形プローブを最適にトレーニングするためのデータセット蒸留の問題を探求しています。私たちが提案する「線形勾配マッチング」という手法により、合成画像がリアルデータに類似した勾配を誘導できるように最適化され、さまざまなモデルでの一般化が可能になっています。この手法は、特に細かい分類やモデルの解釈可能性に寄与する価値あるツールとなります。