Sign In

Mars-Bench: A Benchmark for Evaluating Foundation Models for Mars Science Tasks

Created by
  • Haebom
Category
Empty

저자

Mirali Purohit, Bimal Gajera, Vatsal Malaviya, Irish Mehta, Kunal Kasodekar, Jacob Adler, Steven Lu, Umaa Rebbapragada, Hannah Kerner

개요

본 논문은 화성 관련 다양한 작업을 위한 모델을 체계적으로 평가하기 위해 설계된 최초의 벤치마크인 Mars-Bench를 소개합니다. Mars-Bench는 궤도 및 표면 이미지를 사용하여 크레이터, 원뿔, 바위, 서리 등 주요 지질학적 특징에 초점을 맞춘 분류, 분할, 객체 감지를 포함한 20개의 데이터 세트로 구성됩니다. 본 논문은 또한 자연 이미지, 지구 위성 데이터 및 최첨단 시각-언어 모델로 사전 훈련된 모델을 사용한 표준화된 데이터 세트 및 기본 평가를 제공합니다. 분석 결과는 화성 특정 기반 모델이 일반 도메인 모델보다 유리할 수 있음을 시사하며, 도메인 적응형 사전 훈련에 대한 추가 탐구를 장려합니다.

시사점, 한계점

시사점:
Mars 과학 분야에서 머신 러닝 모델 개발 및 비교를 위한 표준화된 기반을 제공합니다.
화성 관련 작업에 대한 모델 평가를 위한 최초의 벤치마크를 제시합니다.
화성 특정 기반 모델이 일반 도메인 모델보다 성능이 우수할 가능성을 시사합니다.
도메인 적응형 사전 훈련의 중요성을 강조합니다.
한계점:
제공된 정보 내에서는 한계점이 명시적으로 언급되지 않았습니다.
👍