GeoChain은 다중 모드 대규모 언어 모델(MLLM)의 단계별 지리적 추론을 평가하기 위한 대규모 벤치마크입니다. 146만 장의 Mapillary 거리 수준 이미지를 활용하여 각 이미지에 21단계의 사고 과정(CoT) 질문 시퀀스(3천만 개 이상의 Q&A 쌍)를 연결했습니다. 이 시퀀스는 시각적, 공간적, 문화적, 정확한 지리적 위치 확인 등 네 가지 추론 범주에 걸쳐 모델을 조잡한 속성에서 미세한 위치 확인으로 안내하며, 난이도에 따라 주석이 달려 있습니다. 이미지는 의미론적 분할(150개 클래스)과 시각적 위치 확인 점수로도 강화되었습니다. 다양한 2,088개 이미지 하위 집합에 대한 최신 MLLM(GPT-4.1 변형, Claude 3.7, Gemini 2.5 변형)의 벤치마킹 결과, 모델은 시각적 기반 설정에서 약점을 보이고, 불규칙적인 추론을 보이며, 특히 추론 복잡성이 증가함에 따라 정확한 위치 확인에 어려움을 겪는다는 일관된 문제점이 드러났습니다. GeoChain은 MLLM 내의 복잡한 지리적 추론의 상당한 발전을 촉진하는 데 중요한 강력한 진단 방법론을 제공합니다.
