arXiv cs.LG

モデルとハイパーパラメータ選択のための文脈内メタ学習者としてのLLM

LLMs as In-Context Meta-Learners for Model and Hyperparameter Selection

http://arxiv.org/abs/2510.26510v1


機械学習におけるモデルとハイパーパラメータの選択は重要でありながら困難です。本論文では、大規模言語モデル(LLM)がこのタスクのための文脈内メタ学習者として機能できるかを検討しています。具体的には、各データセットを解釈可能なメタデータに変換し、LLMにモデルファミリーとハイパーパラメータを推薦させる方法を提案しています。また、ゼロショットモードや過去のタスクの例を用いたメタ情報を反映したモードの2つのプロンプティング戦略を研究しました。実験の結果、LLMはデータセットのメタデータを活用して競争力のあるモデルとハイパーパラメータを推薦できることが示され、メタ情報を用いたプロンプティングによる改善が文脈内メタ学習の能力を示しています。これにより、LLMがモデル選択とハイパーパラメータ最適化の軽量で汎用的な補助者となる新たな可能性が浮かび上がりました。