본 논문은 다중 모달 대규모 언어 모델(MLLM)의 공간 지각 능력 향상을 위해 공간 지식 그래프(SKG)를 활용한 새로운 다중 모달 데이터 합성 방법인 SKG2Data를 제시합니다. SKG2Data는 방향과 거리 등 다양한 공간 지식을 활용하여 사람과 유사한 공간 인지 능력을 모방하는 SKG를 자동으로 구성하고, 이를 통해 다중 모달 데이터를 합성합니다. 실험 결과, 합성된 데이터는 MLLM의 공간 지각 및 추론 능력을 향상시키고 강력한 일반화 능력을 보여줍니다. 이는 지식 기반 데이터 합성이 공간 지능 개발에 기여할 수 있음을 시사합니다.
시사점, 한계점
•
시사점:
◦
공간 지식 그래프를 활용한 다중 모달 데이터 합성 방법을 제시하여 MLLM의 공간 지각 능력 향상에 기여.
◦
방향 및 거리 등 다양한 공간 지식을 활용하여 합성 데이터의 질적 향상 및 일반화 능력 증대.
