Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Occlusion Robustness of CLIP for Military Vehicle Classification

Created by
  • Haebom

저자

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

개요

본 논문은 제한된 레이블 데이터를 가진 국방 분야에 유용한 제로샷 분류 모델인 CLIP의 내구성을, 특히 부분적 가림과 낮은 SNR과 같은 어려운 군사 환경에서 평가합니다. 18개의 군용 차량 클래스로 구성된 맞춤형 데이터셋을 사용하여 가림에 대한 CLIP 변형 모델의 강건성을 조사하고, 가림 비율에 따른 NAUC(Normalized Area Under the Curve)를 사용하여 평가합니다. 실험 결과, Transformer 기반 CLIP 모델이 CNN보다 성능이 우수하며, 미세하고 분산된 가림이 큰 연속 가림보다 성능 저하가 크다는 것을 보여줍니다. 또한, 선형 프로브 모델은 약 35% 가림에서 성능이 급격히 저하되지만, 백본을 미세 조정하면 60% 이상의 가림에서도 성능 저하가 발생함을 확인했습니다.

시사점, 한계점

시사점:
Transformer 기반 CLIP 모델이 CNN보다 가림에 대해 더 강건함을 보임.
미세하고 분산된 가림이 성능 저하에 더 큰 영향을 미침.
백본 미세 조정을 통해 가림에 대한 내구성을 향상시킬 수 있음.
훈련 시 가림 관련 증강 기법의 중요성을 강조.
한계점:
특정 군사 차량 데이터셋에 대한 결과이므로 일반화에 한계가 있음.
패치 수준 민감도와 아키텍처 복원력에 대한 추가 연구 필요.
실제 환경에서의 성능 평가가 부족.
👍