From Scene-Centric to Observer-Centric: Modeling Observer-Aware Relations for 3D Scene Graph Generation
작성자
카테고리
Vacío
저자
Jingjun Sun, Chaowei Wang, Zhirui Liu, Jiaxu Tian, Ming Yang, Yaoxing Wang, Yan Di, Shan Gao
💡 개요
본 논문은 3D 장면 그래프 생성을 위한 새로운 접근 방식인 Observer-Aware Relations (OAR)을 제안한다. 기존 모델들이 고정된 장면 참조 프레임을 가정하여 관찰자 프레임 변경 시 의미론적 일관성을 잃는 문제를 해결하기 위해, 방향성 술어는 관찰자 의존적, 기타 술어는 관찰자 독립적이라는 점에 착안하여 OAR을 개발하였다. OAR은 관찰자 인식 기하학적 인코딩과 프레임 안정적인 객체 인코딩을 결합하여 다중 레이블 술어 예측을 통합하며, 실험을 통해 관찰자 프레임 재조정 환경에서도 일관된 성능을 보여준다.
🔑 시사점 및 한계
•
3D 장면 그래프 생성에서 관찰자의 시점 변화에 따른 술어의 이질적인 프레임 의존성을 명확히 구분하고 모델링하는 것이 중요함을 시사한다.
•
제안된 OAR 방법론은 관찰자 프레임 변경 시에도 견고한 3D 공간 이해를 가능하게 한다.
•
관찰자 독립적인 술어와 의존적인 술어를 구분하는 본 접근 방식은 향후 다양한 공간 이해 및 로보틱스 응용 분야에 기여할 수 있다.
•
본 연구는 3DSSG 데이터셋에서 검증되었으며, 실제 복잡한 환경에서의 추가적인 검증과 다양한 유형의 관찰자 의존성 모델링에 대한 탐구가 필요하다.
