EVGeoQA: Benchmarking LLMs on Dynamic, Multi-Objective Geo-Spatial Exploration
Created by
Haebom
Category
Empty
저자
Jianfei Wu, Zhichun Wang, Zhensheng Wang, Zhiyu He
💡 개요
본 논문은 동적이고 다중 목표를 가지는 지리 공간 탐색에 대한 LLM의 능력을 평가하기 위한 새로운 벤치마크인 EVGeoQA를 제안합니다. EVGeoQA는 전기차 충전 시나리오를 기반으로 하며, 사용자의 실시간 위치와 충전 필요성 및 동시 활동 선호도라는 두 가지 목표를 결합한 독특한 설계를 특징으로 합니다. 이러한 복잡한 환경에서 LLM의 능력을 평가하기 위해 도구 확장 에이전트 아키텍처 기반의 GeoRover 평가 프레임워크를 개발했습니다.
🔑 시사점 및 한계
•
LLM은 하위 작업을 해결하기 위해 도구를 활용하는 데 성공했지만, 장거리 공간 탐색에는 어려움을 겪습니다.
•
LLM은 탐색 효율성을 높이기 위해 과거 탐색 궤적을 요약하는 능력을 보여주는 새로운 기능이 관찰되었습니다.
•
제안된 EVGeoQA 벤치마크는 동적이고 복잡한 지리 공간 지능 연구를 위한 중요한 기반을 제공합니다.
•
LLM의 장거리 공간 탐색 능력 향상 및 더 복잡한 다중 목표 탐색 시나리오에 대한 평가 방법론 개발이 향후 연구 과제입니다.
