arXiv cs.AI

追跡、インペイント、再スプラット: 主題駆動型3Dおよび4D生成における進行的テクスチャ充填

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

http://arxiv.org/abs/2510.23605v1


この記事では、主題に基づいた3Dおよび4D生成の新しい手法TIRE(Track, Inpaint, Resplat)を提案しています。従来の3D/4D生成方法は、リアリズムや効率性の最適化に力を入れてきましたが、異なる視点からの主題のセマンティックアイデンティティを保持することが難しいという問題があります。著者たちは、少数の画像から特定の主題に適応した生成手法を用いることで、主題のアイデンティティに合った視覚コンテンツを生成することに焦点を当てています。TIREは、既存の3D生成モデルによって作成された初期3Dアセットを入力として受け取り、ビデオトラッキング技術を通じて変更が必要な領域を特定します。その後、主題駆動の2Dインペイントモデルを採用し、特定された領域を進行的に充填します。最終的には、変更された2Dマルチビューの観察結果を3Dに再スプラットして、一貫性を保ちながら生成します。実験結果から、この方法が最新の技術と比較してアイデンティティの保持を大幅に改善することが示されています。