VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction

작성자

Haebom

카테고리

Empty

저자

Kaixin Zhu, Yiwen Tang, Yifan Yang, Renrui Zhang, Bohan Zeng, Ziyu Guo, Ruichuan An, Zhou Liu, Qizhi Chen, Delin Qu, Jaehong Yoon, Wentao Zhang

💡 개요

본 논문은 텍스트 지시에 따라 3D 장면을 직접 편집할 수 있는 VGGT-Edit라는 새로운 프레임워크를 제안합니다. 기존의 2D 편집 후 3D로 변환하는 방식의 단점을 해결하기 위해, VGGT-Edit는 텍스트 정보를 3D 공간에 효과적으로 주입하고 장면의 기하학적 변위를 직접 예측하여 편집을 수행합니다. 이 방법은 흐릿한 텍스처와 불일치하는 기하학적 문제를 해결하며, 높은 품질의 3D 장면 편집 결과를 제공합니다.

🔑 시사점 및 한계

•

텍스트 기반의 직접적인 3D 장면 편집 가능성을 제시하여, 기존 2D 편집 후 3D 변환 방식의 한계를 극복했습니다.

•

깊이 정보와 텍스트 지시를 동기화하고 잔차 변환을 통해 3D 장면을 직접 변형함으로써, 객체 디테일과 다중 뷰 일관성을 높였습니다.

•

새로운 DeltaScene 데이터셋 구축과 엄격한 감독 덕분에 높은 품질의 편집 결과를 얻을 수 있었으며, 거의 실시간에 가까운 추론 속도를 달성했습니다.

•

(한계점 또는 향후 과제) 현재는 텍스트 설명에 기반한 편집에 초점을 맞추고 있으며, 더 복잡하거나 추상적인 편집 요구사항을 처리하기 위한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage