arXiv cs.AI

良いカリキュラムを作るには?データの順序が大規模言語モデルの数学的推論に与える影響を解明する

What Makes a Good Curriculum? Disentangling the Effects of Data Ordering on LLM Mathematical Reasoning

http://arxiv.org/abs/2510.19099v1


カリキュラム学習(CL)は、簡単なデータから難しいデータへの順序でトレーニングすることで大規模言語モデル(LLM)の推論を改善するための戦略として注目されています。本研究では、カリキュラムの効果を様々な側面から評価し、教育における基本的な質問に答えようとしています。具体的には、カリキュラム戦略(前向きまたは後ろ向き)がモデルの能力やタスクの複雑さにどのように依存するのかを調査し、異なる難易度のサンプルがタスク要求によって異なる効果を持つことを示しました。また、タスクに適したカリキュラムがモデルの最終表現と一般化に影響を与える一方、内部状態を調整するカリキュラムも存在することが明らかになりました。この研究は、普遍的なカリキュラム戦略の概念に挑戦し、モデルとタスクの文脈での対応策を提供します。