本論文では、事前学習されたビジョンモデルを下流タスクに適応させるための効率的なファインチューニング方法、SNELLAを提案しています。従来の方法は、重要な重みを選定する際に、ファインチューニング中のパラメータの調整を見逃しがちで、性能が制限されることがありました。SNELLAは、2つの低ランクの学習可能行列を用いたスパース行列との選択的な統合を行い、メモリ使用量を抑えつつ、重みの更新間の相互依存を防ぎます。また、重みの重要度に基づく適応的な二階スパース割り当てメカニズムを導入することで、重みの競争を促進します。実験により、SNELLAは、メモリ使用量を31.1%〜39.9%削減しつつ、FGVCベンチマークでのTop-1精度を1.8%向上させるなど、優れた性能を実現しています。