arXiv cs.LG

大規模モデルの組み合わせ可能なファインチューニングアルゴリズムにおける構造的事前情報とモジュラーアダプタ

Structural Priors and Modular Adapters in the Composable Fine-Tuning Algorithm of Large-Scale Models

http://arxiv.org/abs/2511.03981v1


この論文では、大規模に事前学習されたモデルにおけるマルチタスク適応の際に直面する高い計算コストと構造的不安定性を解決するために、グラフ構造の事前情報をモジュラーアダプタと統合した組み合わせ可能なファインチューニング手法を提案しています。この手法は、タスク間の依存関係をモデリングするためにリレーションマトリックスを導入し、ノードや経路間の相関を明示的に符号化することで、アダプタの重み割り当てと経路選択に対する統一的な構造制約を提供します。また、モジュラーアダプタは低ランクマッピングとプラグインメカニズムを通じて異なる層に埋め込まれ、事前のガイダンスの下で効率的なクロスタスク構成と再利用を可能にします。このメカニズムは、パラメータ効率とトレーニングの安定性を向上させるだけでなく、マルチタスクシナリオにおける経路の競合や冗長計算も軽減します。実験では、ハイパーパラメータの感度や環境感度、データ感度が系統的に分析され、この手法が構造的制約の下での性能の一貫性と優位性を示しています。結果として、提案されたフレームワークは、タスク予測精度、アダプタの重み割り当て精度、全体の計算効率を大幅に向上させ、モジュラー機構とグラフ事前情報の相乗効果を強調しています。