本研究では、深層ニューラルネットワークの損失空間におけるモード接続性に関する最近の研究を基に、高性能な重みベクトルを生成するハイパーネットワークを訓練します。このハイパーネットワークは潜在ベクトルを高性能（低損失）の重みベクトルにマッピングし、精度と多様性のトレードオフを考慮して訓練目標を設定しています。多様性はターゲットネットワークの単純な対称変換を含むため、重みのパラメータ数を削減する方法も示しています。また、このハイパーネットワークを用いることで、計算効率の良い重みのサンプリングが可能となり、大規模アンサンブルを形成します。アンサンブルによって分類精度が向上したことから、生成されたマニフォールドは単純な対称性に基づく方向以外の次元にも広がっていることが示されました。最終的には、多様性を保持しつつ、アンサンブルを単一の分類器に蒸留する方法も提案されています。