Occlusion Robustness of CLIP for Military Vehicle Classification
Created by
Haebom
저자
Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf
개요
본 논문은 제한된 레이블 데이터를 가진 국방 분야에 유용한 CLIP과 같은 Vision-Language Model(VLM)의 강건성에 대해 연구합니다. 특히, 부분적폐색 및 저하된 SNR과 같은 어려운 군사 환경에서 CLIP의 강건성을 조사하기 위해 18개의 군용 차량 클래스로 구성된 맞춤형 데이터셋을 사용하여 폐색 비율에 따른 Normalized Area Under the Curve (NAUC)를 평가했습니다. 트랜스포머 기반 CLIP 모델이 CNN보다 성능이 우수하며, 미세하고 분산된 폐색이 큰 연속 폐색보다 성능 저하가 크다는 것을 발견했습니다. 또한, 선형탐침 모델은 약 35% 폐색에서 성능이 급격히 저하되지만, 백본을 미세조정하면 60% 이상의 폐색에서 성능 저하가 발생함을 확인했습니다.
