本論文では、従来の知識蒸留の限界を克服するために、ゴンペルツ成長モデルを組み込んだ新しい動的知識蒸留フレームワーク「Gompertz-CNN」を紹介します。従来の手法は、学生モデルの認知能力の変化を捉えることができず、知識の転送が最適化されない問題があります。これに対処するため、学習の進行状況に基づいて蒸留損失の重みを動的に調整する段階認識蒸留戦略を提案し、初期成長の遅さ、中間段階の急速な改善、後期段階の飽和を反映しています。また、Wasserstein距離を用いた特徴レベルの相違の測定や、教師モデルと学生モデル間の逆伝播行動を整列させる勾配マッチングを取り入れています。これにより、ゴンペルツ曲線が蒸留損失の影響を時系列で調整する多重損失目的の下で統一され、CIFAR-10およびCIFAR-100での実験で従来手法を上回る性能向上が確認されました。