arXiv cs.AI

ネステッド自己回帰モデル

Nested AutoRegressive Models

http://arxiv.org/abs/2510.23028v1


ネステッド自己回帰モデル(NestAR)は、画像生成における効率性と多様性を向上させる新しいアプローチを提案します。このモデルは、従来の自己回帰(AR)モデルに比べ、画像トークン生成の計算負荷を大幅に軽減し、モデルの多様性を向上させることを目的としています。NestARは、階層的な順序でのマルチスケールモジュールを設計し、各モジュールのより大きなスケールが前の小さなスケールの出力に条件付けられています。各モジュール内でさらにAR構造を使用し、トークンの「パッチ」を生成します。この設計により、画像トークンを生成する複雑さがO(n)からO(log n)に削減され、結果として計算コストが大幅に低下しつつ、競争力のある画像生成性能を達成しています。また、連続トークンを使用するためのフローマッチング損失を組み込むことで、モデルの訓練におけるマルチスケールモジュールの調整も行います。