arXiv cs.AI

医療LLMにおける効率的なモデルマージのための新しい階層的統合手法

A Novel Hierarchical Integration Method for Efficient Model Merging in Medical LLMs

http://arxiv.org/abs/2511.13373v1


大規模言語モデル(LLM)は、分散型ヘルスケアにおいて専門的な知識の統合に関する重要な課題を抱えています。本論文では、Mistral-7Bベースモデルから派生した2つのアーキテクチャ互換の医療LLMに適用される6つのパラメータ空間マージ技術の体系的評価を行い、新たな階層的手法を提案しています。この手法は、選択的最適輸送(OT)アライメントとコサイン類似度加重補間を組み合わせ、計算コストを最小限に抑えつつ注意層の並び替えの変動を解決することを目的としています。結果として、簡単な平均化手法がアーキテクチャ互換モデルに大きな利益をもたらし、Task ArithmeticがMedQAで45.80%の精度を達成しました。これにより、資源が制約されたIoT環境における医療AIの展開において、計算効率とモデルの互換性が重要であることが示されました。つまり、アーキテクチャが互換のモデルに対しては、単純な平均化が知識の統合における強固で効率的な基準を提供することが確認されました。