GeoChain은 다중 모드 대규모 언어 모델(MLLM)의 단계별 지리적 추론을 평가하기 위한 대규모 벤치마크입니다. 146만 장의 Mapillary 거리 수준 이미지를 활용하여 각 이미지에 21단계의 사고 과정(CoT) 질문 시퀀스(3천만 개 이상의 Q&A 쌍)를 연결했습니다. 이러한 시퀀스는 시각적, 공간적, 문화적, 정확한 지리적 위치 확인 등 네 가지 추론 범주에 걸쳐 모델을 개략적인 속성에서 세부적인 위치 파악으로 안내하며, 난이도에 따라 주석이 달려 있습니다. 이미지에는 의미론적 분할(150개 클래스)과 시각적 위치 확인 점수도 추가되었습니다. 다양한 2,088개 이미지 하위 집합에 대한 최신 MLLM(GPT-4.1 변형, Claude 3.7, Gemini 2.5 변형)의 벤치마킹 결과, 모델은 시각적 근거, 불규칙적인 추론, 정확한 위치 확인(특히 추론 복잡성이 증가할 때)에서 지속적인 어려움을 보이는 것으로 나타났습니다. GeoChain은 MLLM 내에서 복잡한 지리적 추론의 상당한 발전을 촉진하는 데 중요한 강력한 진단 방법론을 제공합니다.
