この記事では、マルチビュー画像から現実の物体を再構築する新たなフレームワークを提案しています。従来の手法は、幾何学的正確性（マルチビュー・ステレオ）とフォトリアルなレンダリング（新しいビューの合成）のいずれかに重点を置いており、幾何学と外観の最適化が分離されていました。これにより、後続の編集作業が妨げられることがありました。提案された方法は、メッシュの幾何学（頂点の位置や面）と色を、ガウス誘導のメッシュ微分可能レンダリングを通じて同時に最適化します。これにより、入力画像からの光学的一貫性と法線および深度マップからの幾何学的正則化を活用し、高品質な3D再構築を実現します。この技術は再照明や形状変形といった後続の編集タスクに役立ち、コードは承認後に公開される予定です。