本論文では、大規模プリトレーニングモデルを下流タスクに適応させるための効果的な手法である「パラメータ効率的ファインチューニング（PEFT）」に対する新たなアプローチ「フィードフォワード型パラメータ選択（FPS）」を提案しています。従来の手法には、アダプターによる遅延や複雑さ、GPSのような完全な逆伝播を必要とする方法があり、これらはフルファインチューニングと同じピークメモリ使用量を引き起こします。FPSは、パラメータの大きさとその入力活性化の積を利用してパラメータをランク付けし、単一のフォワードパスで最適なサブセットを特定します。評価の結果、FPSは24の視覚タスクで最先端の手法に匹敵する性能を達成し、ピークメモリ使用量を約9倍削減し、パラメータ選択を約2倍早めることに成功しました。この手法は大規模プリトレーニングモデルのファインチューニングにおいて、真にメモリ効率が良く実用的な解決策を提供します。