この記事では、変換器の言語モデルが入力シーケンスを連続的な表現にマッピングする際に単射性を持ち、したがって損失なく入力を再構築できることを証明しています。著者たちは、非線形活性化や正規化が一般的には非単射であると考えられている中、数学的にこのモデルの単射性を示しました。また、六つの最先端言語モデルに対して数十億の衝突テストを実施し、衝突がないことを確認しました。さらに、隠れ活性化から正確な入力テキストを再構築する最初のアルゴリズム「SipIt」を導入し、その効率性を示しました。これにより、言語モデルの透明性、解釈性、安全な運用に対する重要な示唆が得られます。