Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Occlusion Robustness of CLIP for Military Vehicle Classification

Created by
  • Haebom

作者

Jan Erik van Woerden, Gertjan Burghouts, Lotte Nijskens, Alma M. Liezenga, Sabina van Rooij, Frank Ruis, Hugo J. Kuijf

概要

この論文では、限られたラベルデータを持つ防衛分野で有用なCLIPなどのVision-Language Model(VLM)の堅牢性について研究します。具体的には、部分的閉塞や劣化したSNRなどの困難な軍事環境におけるCLIPの堅牢性を調査するために、18の軍用車両クラスで構成されたカスタムデータセットを使用して、閉塞率に応じたNormalized Area Under the Curve(NAUC)を評価しました。トランスフォーマベースのCLIPモデルはCNNよりも優れており、微細で分散した閉塞が大きい連続閉塞よりも性能低下が大きいことがわかりました。また、線形プローブモデルは約35%閉塞で性能が急激に低下しますが、バックボーンを微調整すると60%以上の閉塞で性能低下が発生することを確認しました。

Takeaways、Limitations

Takeaways:
変圧器ベースのCLIPモデルはCNNよりも閉塞に対して強いことを示した。
微細で分散した閉塞がパフォーマンスの低下に大きな影響を与えます。
骨格の微調整により、閉塞に対する堅牢性を向上させることができる。
訓練時の閉塞特化増強の重要性を強調。
Limitations:
研究は特定の軍用車両データセットに限定されています。
パッチレベルの感度とアーキテクチャの回復力に関するさらなる研究が必要
実際の環境展開に追加の検証が必要です。
👍