본 논문은 농업 원격 감지 분야에 특화된 종합적인 벤치마크인 AgroMind를 제시합니다. 기존 벤치마크의 데이터셋 다양성 부족 및 과도하게 단순화된 과제 설계의 한계를 극복하고자, 공개 데이터셋 8개와 사유 농지 데이터셋 1개를 통합하여 총 27,247개의 QA 쌍과 19,615개의 이미지를 포함하는 고품질 평가 세트를 구축했습니다. AgroMind는 공간 인지, 객체 이해, 장면 이해, 장면 추론의 네 가지 작업 차원에 걸쳐 13가지 작업 유형(작물 식별 및 건강 모니터링부터 환경 분석까지)을 다룹니다. 20개의 오픈소스 LMM과 4개의 클로즈드소스 모델을 AgroMind로 평가한 결과, 특히 공간 추론 및 세분화된 인식에서 상당한 성능 차이가 있음을 보여주었으며, 일부 선도적인 LMM이 인간의 성능을 능가하는 것으로 나타났습니다. AgroMind는 농업 원격 감지에 대한 표준화된 평가 프레임워크를 구축하여 LMM의 도메인 지식 한계를 드러내고 향후 연구를 위한 중요한 과제를 강조합니다. 데이터와 코드는 https://rssysu.github.io/AgroMind/ 에서 이용 가능합니다.
