Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GeoX-Bench: Benchmarking Cross-View Geo-Localization and Pose Estimation Capabilities of Large Multimodal Models

Created by
  • Haebom
Category
Empty

저자

Yushuo Zheng, Jiangyong Ying, Huiyu Duan, Chunyi Li, Zicheng Zhang, Jing Liu, Xiaohong Liu, Guangtao Zhai

개요

대규모 멀티모달 모델(LMM)의 교차 시점 지리적 위치 파악 및 자세 추정 능력을 탐구하기 위해 설계된 GeoX-Bench 벤치마크를 소개합니다. 이 벤치마크는 128개 도시, 49개국을 포괄하는 10,859개의 파노라마-위성 이미지 쌍과 755,976개의 질문-답변(QA) 쌍으로 구성됩니다. GeoX-Bench를 사용하여 25개의 최첨단 LMM의 성능을 평가하고, instruction-tuning의 효과를 분석했습니다.

시사점, 한계점

LMM은 지리적 위치 파악 작업에서 인상적인 성능을 보이지만, 자세 추정 작업에서는 성능이 저하됩니다.
instruction-tuning을 통해 LMM의 교차 시점 지각 능력을 향상시킬 수 있습니다.
현재 LMM의 자세 추정 능력 향상이 필요한 중요한 과제입니다.
GeoX-Bench는 https://github.com/IntMeGroup/GeoX-Bench 에서 이용 가능합니다.
👍