Occlusion Robustness of CLIP for Military Vehicle Classification
Created by
Haebom
作者
Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf
概要
この論文では、限られたラベルデータを持つ防衛分野で有用なCLIPなどのVision-Language Model(VLM)の堅牢性について研究します。具体的には、部分的閉塞や劣化したSNRなどの困難な軍事環境におけるCLIPの堅牢性を調査するために、18の軍用車両クラスで構成されたカスタムデータセットを使用して、閉塞率に応じたNormalized Area Under the Curve(NAUC)を評価しました。トランスフォーマベースのCLIPモデルはCNNよりも優れており、微細で分散した閉塞が大きい連続閉塞よりも性能低下が大きいことがわかりました。また、線形プローブモデルは約35%閉塞で性能が急激に低下しますが、バックボーンを微調整すると60%以上の閉塞で性能低下が発生することを確認しました。