本稿では、過剰パラメータ化された最小二乗法における勾配降下法（GD）の収束速度を調査しています。従来の最適化理論では、小さなステップサイズにおける安定した領域でのGDは目的関数が単調に減少するとされていますが、ニューラルネットワークでは、安定性の境界と呼ばれる大きなステップサイズの下で非単調的な減少が観察されることが一般的です。本研究では、過剰パラメータ化により生じるリーマン多様体を用いて、GDの動的挙動を平行成分と直交成分に分解し、収束速度を導出しました。学習率の違いによる三つのレジーム（サブクリティカル、クリティカル、スーパクリティカル）を設定し、それぞれの条件下での収束の特性を詳述しています。特に、過剰パラメータ化された設定において、トランジェント不安定性の克服や、最適にフラットなグローバルミニマムへの収束がどのように行われるかを明らかにしています。