この記事では、大規模言語モデル(LLMs)のマルチドメイン適応における課題に取り組むため、パーティションベースのマルチステージファインチューニングフレームワークを提案しています。このアプローチは、ドメイン間の相違やシナジー、モデルの能力制約を考慮しながら、ドメインをサブセット(ステージ)に戦略的に分割することを目的としています。提案されたフレームワークについて理論的に分析し、新たな一般化範囲を導出することで、パーティショニング戦略の正当性を示しています。様々な言語理解タスクにおける膨大な実証評価は、この手法が最先端の基準を常に上回る成果を示すことを確認しています。