大規模モデルを複数のGPUでトレーニングする際の複雑さには様々な並列処理戦略が関わります。アクセラレートとアクセロトルは、トレーニングスクリプトで任意の並列処理戦略を簡単に使える方法を統合しました。文中では、パラレルリズム構成とプラグインの設定方法が示されており、包括的なトレーニングスクリプトも提供されています。さまざまな微調整手法と並列処理技術を統合することで、スケールでのトレーニングを効率化できるようになっています。特に、データ並列性や完全シャーデッドデータ並列性、テンソル並列性、コンテキスト並列性などの異なる並列戦略の理解がキーとなります。最適な構成を選定するための指針も提示されています。