本記事ではMI-to-Mid蒸留圧縮（M2M-DC）という新しいモデル圧縮手法が紹介されており、情報に基づくブロックプルーニングと進行的なインナー スライシングを組み合わせています。この方法は、大きく二つの段階で進行し、まずブロックの重要性を情報的に評価し、効果が薄いブロックを削除します。その後、知識蒸留（KD）を用いた短いフェーズを交互に行いながら、余分な冗長性を取り除くことに焦点を当てています。具体的には、CIFAR-100データセットを用いた実験では、ResNet-18で85.46%の精度を実現し、パラメータ数を減らしながらも教師モデルの性能を上回る結果が得られました。この手法は、残差CNNおよび逆残差アーキテクチャにも対応可能で、実際のデプロイメントに適したコンパクトなモデルを生成します。