この記事では、大規模言語モデル（LLMs）の効率的な圧縮技術に焦点を当て、特異値分解（SVD）を活用した新しい手法であるカラムを保持する特異値分解（CPSVD）が提案されています。従来のSVD手法はパラメータ行列の全体を均一に扱うため、行列の各部分での近似誤差の違いを考慮していませんでした。その結果、最適な圧縮が得られないことが多いです。CPSVDは、行列の高い分解誤差を持つカラムを特定して直接保持し、低い分解誤差のカラムにのみSVDを適用します。これにより、誤差を最小限に抑える最適なバランス点を見出します。また、LLMs内の各モジュールに対して非一様な圧縮率を動的に割り当てることで、更なる圧縮性能の向上を実現します。実験結果では、CPSVDが最先端のSVDベースのLLM圧縮手法を一貫して上回り、低い混乱度と高い精度を達成することが示されています。