Multimodal Large Language Models (MLLMs)의 공간 지각 능력 한계를 해결하기 위해, 공간 지식 그래프를 활용한 멀티모달 데이터 합성을 제안하는 논문. SKG2DATA는 공간 지식 그래프(SKG)를 구축하여 인간과 유사한 공간 인식을 포착하고, 이를 기반으로 확산 모델과 MLLM을 활용하여 공간적으로 일관된 이미지와 텍스트 설명을 생성한다. SKG의 자동 구축을 통해 현실적인 공간 구성을 대규모로 생성하고, 방향 및 거리 관계를 포함한 다양한 유형의 공간 지식을 활용하여 MLLMs의 공간 지각 및 추론 능력을 향상시키는 것을 목표로 한다.
시사점, 한계점
•
시사점:
◦
공간 지식 그래프 기반의 데이터 합성을 통해 MLLMs의 공간 지각 능력 향상 가능성 제시.
◦
SKG2DATA 프레임워크를 통해 공간적으로 일관된 멀티모달 데이터 생성.
◦
방향 및 거리 관계와 같은 다양한 공간 지식을 활용하여 데이터 생성 및 MLLMs 성능 향상.
