この研究では、ポリャックモーメンタム（SGD-M）を用いた確率的勾配降下法（SGD）の高次元スケーリング極限を開発し、オンラインSGDとの厳密な比較を提供しています。結果として、適切な時間の再スケーリングと特定のステップサイズを選択することで、SGD-Mのスケーリング極限がオンラインSGDと一致することを示しています。しかし、同じステップサイズを使用すると、SGD-Mは高次元の影響を増幅し、オンラインSGDに対してパフォーマンスが低下する可能性があります。このフレームワークは、スパイクテンソルPCAと単一インデックスモデルという2つの人気のある学習問題に適用され、正規化勾配に基づく適応ステップサイズを用いたオンラインSGDの有効性も検証されています。高次元領域において、この手法は収束に有利な固定点を持ち、収束するための適応可能なステップサイズの範囲を広げるなどの利点を示しています。これは、オンラインSGDが失敗する環境での動的安定化および改善を実証する有力な事例を提供します。