arXiv cs.LG

言語モデルは文脈内でスキルを組み合わせることができるか?

Can Language Models Compose Skills In-Context?

http://arxiv.org/abs/2510.22993v1


本研究は、言語モデルが簡単なタスクから基本的なスキルを組み合わせて複合タスクを達成する能力を調査します。この文脈内のスキル構成能力の評価は、訓練中にスキルとその構成を学ぶ標準設定よりも難易度が高く、システム実験を通じて、言語モデルが基本スキルを正しく認識し組み立てるのに苦労することが明らかになりました。特に、基本的なタスクの例がモデルのパフォーマンスに悪影響を及ぼすことがあります。理論的な分析からは、例を構成におけるステップと適切に整合させることが重要であることが示され、これが新しい方法論の発展に繋がり、実験結果はその洞察を支持しています。