GEO-Bench-2: From Performance to Capability, Rethinking Evaluation in Geospatial AI
Created by
Haebom
Category
Empty
저자
Naomi Simumba, Nils Lehmann, Paolo Fraccaro, Hamed Alemohammad, Geeth De Mel, Salman Khan, Manil Maskey, Nicolas Longepe, Xiao Xiang Zhu, Hannah Kerner, Juan Bernabe-Moreno, Alexander Lacoste
개요
GEO-Bench-2는 지구 관측(EO) 분야의 Geospatial Foundation Models (GeoFMs)을 평가하기 위한 포괄적인 프레임워크입니다. 분류, 분할, 회귀, 객체 감지, 인스턴스 분할 등 5가지 주요 작업에 걸쳐 19개의 허용 라이선스 데이터 세트를 활용합니다. 이 프레임워크는 모델을 "능력" 그룹으로 분류하여 특정 작업에서 모델의 강점을 파악하고, 모델 적응 전략 연구를 지원합니다. 실험 결과는 특정 모델이 모든 작업에서 우위를 점하지 않으며, 최적의 모델 선택은 작업 요구 사항, 데이터 형식 및 제약 조건에 따라 달라짐을 보여줍니다.
시사점, 한계점
•
GEO-Bench-2는 GeoFMs 평가를 위한 표준화된 프로토콜을 제공하여 공정하고 일관된 비교를 가능하게 합니다.
•
다양한 데이터 세트와 작업 유형을 포함하여 GeoFMs의 성능을 종합적으로 평가합니다.
•
"능력" 그룹을 통해 모델의 강점을 구체적으로 파악하고, 모델 선택을 위한 지침을 제공합니다.
•
실험 결과는 특정 모델이 모든 작업에서 우수하지 않음을 보여주며, 모델 설계 및 사전 훈련 선택의 중요성을 강조합니다.
•
자연 이미지 기반 모델과 EO 특화 모델 간의 성능 차이를 보여주며, 모델 선택의 중요성을 강조합니다.
•
단일 GeoFM 모델이 모든 작업에서 우수한 성능을 보이는 목표는 아직 미해결 과제로 남아있습니다.