LiteAttentionは、拡散トランスフォーマーにおけるアテンション計算の複雑さを改善する手法です。従来の拡散トランスフォーマーは、ビデオ生成において優れた品質を達成していますが、アテンション計算が二次的な複雑さを伴うため、遅延が生じやすいという課題があります。LiteAttentionは、ノイズ除去の過程で重要でないタイルを早期に特定し、そのスキップを後のステップに伝播させることにより、冗長なアテンション計算を排除します。この新しい手法は、ダイナミックメソッドの適応性とスタティックメソッドの効率を組み合わせたものであり、実際のビデオ生成モデルにおいて大幅な速度向上を実現しましたが、品質の低下はありません。さらに、実装の詳細やコードも公開予定です。