arXiv cs.AI

VVS: 部分検証スキップによる視覚的オートリグレッシブ生成のための推測デコーディングの加速

VVS: Accelerating Speculative Decoding for Visual Autoregressive Generation via Partial Verification Skipping

http://arxiv.org/abs/2511.13587v1


視覚的オートリグレッシブ(AR)生成モデルは、画像生成において高い可能性を示していますが、次のトークン予測のパラダイムが推論遅延を引き起こします。推測デコーディング(SD)は視覚ARモデルの加速に効果的ですが、その「1ステップの下書き後に1ステップの確認」というアプローチは前方パスの直接的な削減を妨害し、加速の可能性を制限しています。本研究では、視覚トークンの相互運用性に着目し、初めてSDプロセスにおける検証スキップを探求し、目標モデルの前方パスを明示的に削減することで推論遅延を減らすことを目指します。具体的には、検証冗長性と旧機能の再利用を分析し、これらの要因が生成品質を維持しつつ加速を可能にすることを確認しました。それを基に、検証なしでのトークン選択、トークンレベルの機能キャッシングおよび再利用、精密なスキップステップのスケジューリングという三つのモジュールを統合した新しいSDフレームワークVVSを提案します。これにより、従来のARデコーディングに対し、前方パスの数を2.8倍削減し、高品質な生成を維持することができると考えています。