本記事では、LLM（大規模言語モデル）がリスト処理タスクをどのように実行するのかを調査しました。研究の結果、LLMは一般的なフィルタ操作のコンパクトで因果的な表現を学習しており、これは関数型プログラミングにおける「フィルタ」関数に似ています。多様なリスト処理タスクに対して因果的媒介分析を行った結果、特定のトークンにおいて、フィルターヘッドと呼ばれる少数の注意ヘッドがフィルタ predicate のコンパクトな表現をクエリ状態で符号化していることが明らかになりました。このフィルタ predicate の表現は一般的であり、異なるコレクションに対して再利用可能です。しかし、トランスフォーマーLMが他のフィルタ戦略（アイテムがpredicateを満たすかを積極的に評価し、その結果をフラグとしてアイテム表現に格納する）を利用できる状況も確認されました。これにより、トランスフォーマーLMは抽象的な計算操作を実行可能な形で構築し、従来の関数型プログラミングの戦略と驚くほど類似した方法で一般化できることが示されました。