arXiv cs.LG

少数が多数を支配する:時間系列モデルのための少層支配の解明

The Few Govern the Many:Unveiling Few-Layer Dominance for Time Series Models

http://arxiv.org/abs/2511.07237v1


この研究は、時間系列予測において大型モデルが直面する「スケーリングパラドックス」を探求しています。従来のアプローチでは、モデルの容量やデータの増加がパフォーマンスの改善をもたらすと考えられていますが、大型モデルは必ずしも優れた結果を出せないことが確認されました。実験により、重要な層はわずか一部であり、他の多くの層は冗長であり訓練の妨げとなることが「少層支配」として特定されました。この発見を基に、機能的に重要な層のみを自動的に特定し保持する実用的な方法が提案され、これによりパラメータの21%を保持するだけで精度が最大12%改善し、推論速度が2.7倍向上することが示されました。この手法は、さまざまなモデルで95%以上のタスクにおいて優れた精度を達成することが確認されています。