Multimodal Large Language Models (MLLMs)의 공간 지각 능력 향상을 위해, 공간 지식 그래프 (Spatial Knowledge Graph, SKG)를 기반으로 공간적으로 일관된 데이터를 생성하는 SKG2DATA를 제안합니다. 이 방법은 인간과 유사한 공간 인식을 포착하는 자동화된 SKG 구축 파이프라인을 사용하며, 생성된 SKG는 확산 모델을 사용하여 공간적으로 일관된 이미지를 생성하고 MLLM을 사용하여 해당 텍스트 설명을 생성하는 통합 합성 파이프라인을 안내합니다.
시사점, 한계점
•
시사점:
◦
SKG2DATA는 공간 지식 기반 데이터 합성을 통해 MLLM의 공간 지각 및 추론 능력을 향상시킵니다.
