本論文では、複雑な教師モデルからリソース効率の高い学生モデルへの知識移転を実現する「知識蒸留」の新しいアプローチについて述べています。特に、少ないサンプルでのタスク意識型知識蒸留を行うための新戦略「反事実説明を取り入れた蒸留（CoD）」を提案します。反事実説明（CFE）は、教師モデルの出力を最小の変動で変えられる入力を指し、これを用いることで教師の意思決定境界をより少ないサンプルで精密にマッピング可能になります。理論的な保証も示し、CFEがどのようにパラメータ推定を向上させるか、また、学生が教師の意思決定境界をより効果的に模倣する手助けをするかを明らかにします。実験により、CoDは少数ショットの環境下で標準的な蒸留手法を上回るパフォーマンスを示し、元のサンプルの半分だけを使用しつつ、その性能を向上させることができることを示しました。