arXiv cs.AI

寄付者と受益者:タスクと言語間の非対称転送に関するパラメータ効率的ファインチューニング

Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning

http://arxiv.org/abs/2511.13368v1


大規模言語モデル(LLM)は多様なタスクや言語で高い性能を発揮していますが、あるタスクや言語の改善が他のタスクや言語に及ぼす影響についてはあまり理解されていません。本研究では、複数のオープンウエイトのLLMファミリーとサイズにおいて、タスクと言語を転送の軸とし、各モデルを単一のタスク-言語ソースでファインチューニングし、他のタスク-言語ターゲットペアにおけるベースラインスコアとのパーセンテージポイント変化として転送を測定しました。転送を三つのレジームに分解し、マッチしたタスクとオフタスク間の非対称性、及び言語とタスク全体にわたる安定した寄付者-受益者の構造を明らかにしました。また、リスクを考慮したファインチューニングやモデル特化の示唆も提示しています。