本記事では、最近の研究が示す、言語モデル（LLMs）が低レベルの視覚的特性をどのように把握するかについて探ります。特に、ASCII顔やSVGコードにおける目の認識など、高レベルの意味概念を視覚的に理解できるかに焦点を当てました。結果、ASCIIとSVGの目を表す形状が同じ機能を活性化し、さらに口や耳、さらには犬や猫等の具体的な概念を認識する跨越的特徴が存在することが判明しました。また、特定の文脈によってこれらの機能の活性化が異なることも示されています。この研究は、テキストベースの視覚コンテンツを処理し生成するためのモデル内部表現に関する洞察を提供します。