トランスフォーマーは本質的に簡潔である

本論文では、トランスフォーマーモデルが概念を表現する際の簡潔さを、表現力の指標として提案します。著者たちは、トランスフォーマーが形式言語を有限オートマトンや線形時間論理（LTL）式の標準的な表現よりも大幅に簡潔に表現できることを証明しました。この高い表現力の副産物として、トランスフォーマーの特性を検証することが理論的に困難であること（EXPSPACE完全であること）も示しています。形式言語とオートマトン理論、機械学習、計算機科学における論理といった分野での重要な知見を提供します。