arXiv cs.AI

専門家教師からの中間層知識蒸留による医療画像分析におけるショートカット学習の防止

Preventing Shortcut Learning in Medical Image Analysis through Intermediate Layer Knowledge Distillation from Specialist Teachers

http://arxiv.org/abs/2511.17421v1


深層学習モデルは、訓練データの無関係な特徴に基づくショートカット解決策を学習する傾向があります。医療画像分析のような高リスクの応用においては、これが臨床的に重要な特徴を使用する妨げとなり、ロバスト性の低下や患者への危害を引き起こす可能性があります。本研究では、ショートカットのタイプがネットワークの層によって異なることを示し、これに対処するための中間層を狙った緩和戦略を提案しています。特に、少量のタスク関連データで調整された教師ネットワークを活用した新しい知識蒸留フレームワークを導入し、大きなデータセットを使用した学生ネットワークへのショートカット学習の緩和を図ります。CheXpertやISIC 2017などのデータセットでの広範な実験を通じて、従来のアプローチと比較して一貫した改善を示し、バイアスのないデータで訓練された基準モデルと同等のパフォーマンスを達成しました。このアプローチは、バイアスアノテーションが限られ、ショートカット特徴が事前に特定しにくい実世界の医療画像シナリオにも適用可能です。