arXiv cs.AI

LoRA-DA: データに基づく低ランク適応のための初期化法の漸近解析

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis

http://arxiv.org/abs/2510.24561v1


本論文では、LoRA(Low-Rank Adaptation)における初期化手法の理論的フレームワークを構築し、データに基づく初期化法を提案する。従来の初期化法では、ターゲット領域のデータを考慮していないものや、勾配に基づく手法が稼働しているというシンプルな一歩のアプローチが一般的であったが、これはモデルの微調整による性能が乏しい点や、厳密な理論的基盤が欠けている点が問題であった。本研究では、パラメータの乖離の期待値を最小化する一般的な最適化目的から出発し、バイアス項と分散項の二つの要素を持つ最適化問題を導出する。少数のターゲットドメインサンプルから最適な初期化を推定する効率的なアルゴリズムLoRA-DAを開発し、複数のベンチマークで従来手法を上回る精度を達成することを示した。また、より迅速かつ安定した収束性を示し、初期化のオーバーヘッドも小さいことが確認された。