本論文では、低ランク適応（LoRA）を用いた大規模言語モデルのパラメータ効率的なファインチューニング手法を提案しています。従来のLoRAでは、すべての入力トークンが同じ重みを共有し、同じ入出力射影を受けるため、トークン固有の情報を捕捉する能力が制限されています。この制限を克服するために、著者たちはトークン別にLoRAの重みを動的に調整する「トークン単位射影低ランク適応（TopLoRA）」を提案しています。TopLoRAでは、各入力トークンに基づいて入出力の射影を学習し、LoRAのランクを増やすことなく、より細かな適応を実現します。実験結果は、TopLoRAがLoRAおよびその変種に対して一貫して優れた性能を示すことを確認しています。