LayoutVLM은 3차원 공간에서 물체 배치와 같은 3D 추론 과제에서 기존의 Foundation Model의 한계를 극복하기 위해 제안된 프레임워크 및 장면 레이아웃 표현 방식입니다. Vision-Language Model(VLM)의 의미론적 지식을 활용하고, 미분 가능한 최적화를 통해 물리적 타당성을 보장합니다. 시각적으로 표시된 이미지로부터 상호 강화되는 두 가지 표현을 생성하고, 자기 일관성 있는 디코딩 프로세스를 통해 VLM의 공간 계획을 개선합니다. 기존의 LLM 및 제약 기반 접근 방식의 한계를 해결하여, 입력 언어 지시의 의미적 의도와 더 잘 부합하는 물리적으로 타당한 3D 레이아웃을 생성합니다. 또한, 기존 장면 데이터셋에서 추출한 제안된 장면 레이아웃 표현으로 VLM을 미세 조정하여 추론 성능을 향상시킬 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
VLM의 의미론적 지식과 미분 가능한 최적화를 결합하여 물리적으로 타당한 3D 레이아웃 생성을 가능하게 함.
◦
기존 LLM 및 제약 기반 접근 방식보다 향상된 성능을 보임.
◦
기존 장면 데이터셋을 활용한 VLM 미세 조정을 통해 추론 성능 향상 가능성 제시.
•
한계점:
◦
제안된 방법의 일반화 성능 및 다양한 환경에 대한 적용 가능성에 대한 추가적인 연구 필요.
