本稿では、言語モデルがテキストベースのタスクを遂行する際の知覚メカニズムについて探求しています。特に、Claude 3.5 Haikuがドキュメント内の位置を追跡する自然な知覚タスクを果たす能力を分析します。研究の結果、学習された位置表現は、生物学的なニューロンに似た特性を持ちつつ、言語モデル特有の制約に基づいた独自性も見られました。また、これらの表現は離散的な特徴として、あるいは一様な「特徴多様体」として解釈されることも確認しました。さらに、固定幅テキストにおける行の折り返し予測においてモデルがどのように動作するかを考察し、人間の視覚知覚との比較から、モデルは整数のリストとしてしか情報を認識できないが、適切なトークン予測のためには行幅制約を考慮しなければならないことを明らかにしました。