バックプロップなしのゼロ次最適化によるデバイス上のファインチューニング

デバイス上のファインチューニングは、エッジAIシステムにとって重要な能力であり、異なるタスクへの適応をメモリ制約の中で実現する必要があります。従来のバックプロパゲーション方式では、レイヤーのアクティベーションやオプティマイザーの状態を保存する必要があり、このオーバーヘッドがモデルの最大サイズを制限します。しかし、メモリ効率の良いゼロ次最適化（MeZO）は、勾配を前向き評価で推定することでこの制約を緩和し、中間アクティベーションやオプティマイザーの状態を保存する必要を排除します。これにより、より大きなモデルをオンチップメモリに収めることが可能になりますが、ファインチューニングにかかる時間は延びる可能性があります。本論文では、BPとMeZOトレーニングの下で収容可能なモデルサイズの理論的な見積もりを行い、数値的な検証を通じてMeZOの精度の利点を示しています。