RGB-Th-Bench는 비전-언어 모델(VLMs)의 적외선 영상 이해 능력을 평가하기 위해 설계된 최초의 벤치마크입니다. 기존의 VLM 평가는 주로 RGB 기반 벤치마크에 국한되어 적외선 영상 이해 능력 평가에 대한 중요한 간극을 남겼습니다. RGB-Th-Bench는 14가지의 서로 다른 기술적 측면을 다루는 포괄적인 평가 프레임워크를 제공하며, 전문가가 주석을 단 1,600개 이상의 예/아니오 질문으로 구성됩니다. 질문 수준 정확도와 기술 수준 정확도라는 두 가지 정확도 측정 기준을 사용하여 모델의 강건성을 평가합니다. 19개의 최첨단 VLM에 대한 광범위한 평가를 수행한 결과, RGB-열 영상 이해에 상당한 성능 차이가 있음을 보여주었습니다. 강력한 모델조차도 열 영상 이해에 어려움을 겪고 있으며, 성능은 RGB 기반 기능에 크게 제한됩니다. 대규모 응용 프로그램별 및 전문가가 주석을 단 열-캡션 쌍 데이터 세트의 부족이 성능 차이의 중요한 원인입니다. RGB-Th-Bench는 가시광선 및 열 영상 이해 간의 간극을 해소하기 위해 다중 모드 학습의 추가 발전이 시급함을 강조합니다. 데이터 세트와 평가 코드는 공개적으로 제공됩니다.
