3D-LLMs의 정확한 언어-시각 및 공간 요소 연결의 한계를 해결하기 위해, 저비용 3D 장면 재구축이나 대규모 3D 데이터 수집 없이 정밀한 공간 조작을 통해 바이어스를 완화하는 3D 장면 편집을 제안합니다. 특히, 오류 기반 프레임워크인 DEER-3D를 도입하여, 오류 진단, 편집, 재훈련을 통해 모델의 약점을 직접적으로 해결하고, 반복적인 미세 조정을 통해 3D 언어 연결 정확도를 향상시킵니다.
시사점, 한계점
•
시사점:
◦
DEER-3D는 특정 오류를 타겟팅하는 장면 편집을 통해 3D LLM의 언어적 추론 능력과 공간적 연결성을 효과적으로 연결합니다.
◦
씬 재구성이나 대규모 3D 데이터 수집 없이도 3D 언어 모델의 성능을 향상시킬 수 있는 접근 방식을 제시합니다.
◦
DEER-3D는 정확한 predicate 수준의 오류를 진단하고, 이에 맞춰 3D 씬을 편집하여 모델의 특정 약점을 개선합니다.
