本記事では、言語モデルにおける位置情報の重要性について述べられています。従来の回転位置埋め込み（RoPE）は、固定角度の回転を使用して位置をエンコードしますが、提案されている選択的回転位置埋め込み（Selective RoPE）は、入力に依存した回転メカニズムを導入しています。これにより、線形トランスフォーマーおよびソフトマックストランスフォーマー双方において任意の角度で回転する能力が向上します。提案手法は、クエリとキーのペアに対して隠れた形での回転を行い、暗黙の位置構造を明らかにします。加えて、状態空間モデルやゲート付き線形トランスフォーマーにおいて、実部が忘却を管理し、虚部が位置を回転を通じてエンコードします。選択的RoPEを用いることで、言語モデリングやコピー、状態追跡、検索などの複雑なシーケンスタスクにおいて性能が向上することが実証されました。