本論文では、GaLLoPという新しいスパースファインチューニング技術を提案しています。この技術は、大きな勾配マグニチュードを持ち、小さな事前学習マグニチュードを持つモデルパラメータのみを調整し、タスクに関連しつつ、事前学習した知識を最小限に破壊します。LLaMA3 8BとGemma 2Bを用いた実験では、GaLLoPが他の先進的なパラメータ効率の良いファインチューニング技術（LoRA、DoRA、SAFTなど）と同等以上の性能を持つことが示されました。また、GaLLoPは重大な忘却やタスクデータの記憶を軽減し、重要な事前学習パラメータが変わらないため、パフォーマンスの安定化にも寄与します。この手法は、ランダムシードのほとんどで堅牢に一般化することも確認されています。