この記事では、大規模言語モデル（LLM）をゼロ次（ZO）最適化を用いてファインチューニングする新しい手法「P-GAP」を提案しています。従来の勾配ベースの手法と比べ、ZO最適化はメモリの使用量が少なく、効果的な代替手段とされていますが、勾配推定の高い分散により収束が遅くなるという課題があります。P-GAPは、低次元の勾配空間を推定し、投影された勾配の方向に摂動を整列させることで、摂動パラメータの数を減少させ、収束を加速します。実験結果では、P-GAPがベースラインを上回り、分類タスクで最大6%、生成タスクで最大12%の精度向上を実現し、トレーニングの繰り返し回数を約81%削減、GPUの使用時間を70%削減しました。これにより、リソース効率の良い高速なファインチューニングが可能であることが示されました。