arXiv cs.LG

高次元線形回帰のための量子化下での学習

Learning under Quantization for High-Dimensional Linear Regression

http://arxiv.org/abs/2510.18259v1


低ビット量子化は、大規模モデルの効率的なトレーニングを実現する不可欠な技術として注目されていますが、その学習性能への影響についての理論的理解はほとんど存在しません。本研究では、高次元線形回帰における有限ステップ確率的勾配降下法(SGD)を、データ、ラベル、パラメータ、活性化、勾配という量子化対象の幅広い範囲で分析し、初めて体系的に理論的検討を行います。特徴的なリスクの境界を確立し、量子化が学習に与える影響を特定しました。特に、乗算的量子化ではスペクトルの歪みを除去でき、加算的量子化ではバッチサイズのスケーリング効果が現れることを証明しました。また、一般的な多項式減衰データスペクトルにおける乗算と加算のリスクを定量的に比較し、実用的なハードウェア制約下での学習理論のさらなる探求の基礎を築くものです。