arXiv cs.AI

TS-PEFT: 語彙選択型パラメータ効率的微調整のための学習可能な閾値ゲーティング

TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating

http://arxiv.org/abs/2511.16147v1


この論文では、自然言語処理やコンピュータビジョンにおける大規模モデルのパラメータ効率的微調整(PEFT)の新しいアプローチ「トークン選択型PEFT(TS-PEFT)」を提案しています。従来のPEFTはすべての位置インデックスに変更を適用していましたが、本研究はその必要性に疑問を投げかけ、特定のインデックスのみに適用することで性能向上が期待できると主張しています。実験結果から、すべてのインデックスにPEFTを適用することは冗長であり、逆にパフォーマンスを低下させる可能性があることが示されました。この研究は、PEFTに対する新しい視点を提供し、今後の大規模モデルの微調整プロセスの最適化に向けた枠組みを提示しています。