本研究では、大規模言語モデル（LLM）の機能を小規模モデルに蒸留する新たなアプローチについて述べています。特に、金融取引における市場形成（MM）に焦点を当て、強化学習（RL）とLLMを組み合わせる方法を提案しています。従来のアプローチは推論速度が遅く、LLMの蒸留は十分に研究されていませんでした。そこで、著者はLLMの機能を層、タスク、データの三つの直交の次元に分解する「協調市場形成（CMM）」フレームワークを提案しています。各学生モデルは異なる特徴を学び、知識の蒸留を行います。また、CMMは学生モデルの出力を統合するためのHájek-MoE手法を導入しており、実世界の市場データセットにおける実験結果は、CMMが既存の蒸留法やRLベースの市場形成戦略を上回ることを示しています。