本記事では、ローカル（解釈可能でルールに基づく）から分散（一般化可能で効率的）に至る内部表現を持つ大規模言語モデル（LLM）を訓練する新しいフレームワークを紹介しています。このフレームワークの主な革新点は、訓練と推論の両方において動的にローカライズの度合いを制御できる調整可能なパラメータ「ローカリティダイヤル」、必要に応じて意味ブロックを適応的に割り当てる情報理論的リクルートメカニズム、そして全体的な専門LLMへの容量割り当てを拡張する階層的リクルートフレームワークです。この手法は、注意メカニズムに対するグループスパースペナルティ、情報理論的アンカー設計、動的ルールインジェクションに基づいており、構造的な適応をサポートします。最終的に、解釈性と高パフォーマンスを持つモード間で連続的に補間できることがこのフレームワークの核心であり、特に規制のある領域での透明性と能力が求められる応用に有用です。