arXiv cs.LG

高次元線形回帰における善良な過適合のための転送学習

Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression

http://arxiv.org/abs/2510.15337v1


本研究では、高次元線形回帰における転送学習と善良な過適合の関係を探ります。転送学習は、異なるデータソースを利用してターゲットタスクの性能を向上させる技術です。過パラメータ化されたモデル、特に最小$ ext{l}_2$-ノルム補間器(MNI)は、その優れた一般化能力から注目されていますが、転送学習との融合はほとんど研究されていません。私たちは新しい二段階の転送MNIアプローチを提案し、その利点と制約を分析します。特に、効率的な知識移転を実現するための条件を特定し、異質なデータを活用することで知識の移転が限られたコストで実現できる領域を明らかにしました。実験により、モデルやデータの異質性に対する手法の堅牢性を確認し、実用的なデータ駆動型手法を開発しました。この研究は、転送学習とMNIの交差点に新たな知見をもたらします。