本研究では、エンティティ言及検出を行うための新しい軽量モデル「ToMMeR」を紹介します。このモデルは、300K未満のパラメータで構成されており、大規模言語モデル（LLM）の初期層から言及検出能力を探ります。ToMMeRは、13のNERベンチマークにおいてゼロショットで93%のリコールを達成し、90%以上の精度を示すことが確認されました。異なるアーキテクチャ（14M-15Bパラメータ）が、言及の境界において類似の結果を示すことから、言及検出が言語モデリングから自然に出現することがわかりました。また、スパン分類ヘッドを追加することで、ToMMeRは標準的なベンチマークでのNER性能を近似的に最先端のものに引き上げました。この研究は、初期のトランスフォーマー層に構造化されたエンティティ表現が存在し、最小限のパラメータで効率的に回収できることを示しています。