本稿では、確率回路（PC）を用いたマルチトークン予測（MTP）の新しいフレームワークMTPCについて述べています。従来のMTPメソッドは、将来のトークン間の独立性を仮定するため表現力が制限される問題があります。MTPCは異なる回路アーキテクチャを選択することで将来のトークンの同時分布を编码でき、古典的なモデルを一般化します。具体的には、EvaByteなどの既存のバイトレベルLLMを改良し、推測的デコーディングと組み合わせることで、生成速度を大幅に向上させることができると示しています。さらに、MTPCのパラメータ化の最適なトレードオフを厳密に検討しています。これにより、表現力を保持しつつレイテンシを抑える効果的な手法が提案されています。