RGB-Th-Bench는 비전-언어 모델(VLMs)의 RGB-열 영상 쌍 이해 능력을 평가하기 위해 설계된 최초의 벤치마크입니다. 기존 VLM 평가는 RGB 기반 벤치마크에 국한되어 적외선 영상 작업 능력 평가에 대한 중요한 간극을 남겼습니다. RGB-Th-Bench는 14가지의 서로 다른 기술적 측면을 다루는 포괄적인 평가 프레임워크를 제공하며, 전문가가 주석을 단 1,600개 이상의 예/아니오 질문으로 구성됩니다. 질문 수준 정확도와 기술 수준 정확도라는 두 가지 정확도 측정 기준을 사용하여 모델의 강건성을 평가합니다. 19개의 최첨단 VLM에 대한 광범위한 평가를 수행한 결과, RGB-열 영상 이해에 상당한 성능 차이가 있음을 보여주었습니다. 강력한 모델조차도 열 영상 이해에 어려움을 겪고 있으며, 성능은 RGB 기반 기능에 크게 제약을 받는다는 것을 발견했습니다. 또한, 사전 훈련에서 대규모 응용 프로그램별 및 전문가 주석이 달린 열-캡션-쌍 데이터 세트의 부족이 관찰된 성능 차이의 중요한 이유입니다. RGB-Th-Bench는 가시광선과 열 영상 이해 간의 간극을 해소하기 위해 다중 모드 학습의 추가적인 발전이 시급함을 강조합니다. 데이터 세트와 평가 코드는 공개적으로 제공될 예정입니다.
