本論文では、EGGROLL（Evolution Guided General Optimization via Low-rank Learning）と呼ばれる進化戦略（ES）アルゴリズムを提案しています。これは、数十億のパラメータを持つ現代の大規模なニューラルネットワークに適応できるバックプロパゲーション不要の最適化を、大規模な集団サイズにスケールアップするために設計されています。従来のESは、行列の摂動生成やバッチ行列乗算に伴う計算およびメモリコストが高く、大規模化により実効性が低下しますが、EGGROLLは低ランクの行列摂動を使用して、メモリと計算の節約を実現します。実験の結果、EGGROLLは従来のESのパフォーマンスを損なうことなく、強化学習のタブラーラサ設定においても競争力があり、非線形リカレント言語モデルの安定した事前学習を可能にすることが示されています。