arXiv cs.LG

重みバイアス補正とビット単位のコアセットサンプリングによる効率的なマルチビット量子化ネットワークトレーニング

Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling

http://arxiv.org/abs/2510.20673v1


本論文では、マルチビット量子化ネットワークのトレーニングプロセスを効率化するための新しい手法を提案しています。既存の手法では、複数のビット幅に対してデータセット全体を繰り返し更新するため、トレーニングコストが高く、時間もかかる問題がありました。これに対し、作者は二つの技術を導入しています。一つ目は重みバイアス補正で、量子化によって生じるバイアスを中和することにより、各ビット幅間でのバッチ正規化を共有し、ファインチューニングの必要を排除します。二つ目はビット単位のコアセットサンプリング手法で、勾配に基づいて選ばれたコンパクトで情報的なサブセットでモデルをトレーニングさせることで、トレーニングの効率を大幅に向上させます。実験ではCIFAR-10/100、TinyImageNet、ImageNet-1Kを用い、提案手法がトレーニング時間を最大7.88倍短縮し、競争力のある精度を達成できることが示されました。