この研究は、深層系列モデルにおける記憶の幾何学的性質について探求しています。従来、モデルの記憶は、エンティティ間の共起要素のルックアップとして扱われていましたが、著者たちは、モデルが訓練中に指定された局所的共起の単なるストレージ以上のものを持っている可能性を指摘します。具体的には、モデルは原子的な事実の幾何学を自ら合成し、非共起エンティティを含む全エンティティ間のグローバルな関係をエンコードしていると述べています。この結果、困難な推論タスクが単純な幾何学的タスクに簡略化されます。また、Node2Vecとの関連性を分析し、幾何学がどのように自然に生じるのかを明らかにします。この幾何学的視点は、知識の獲得や発見などの研究を見直すきっかけを提供することを期待しています。