LoRA Enhanced Contrastive Learning with SAS Vision Transformers
작성자
카테고리
Empty
저자
Dan Zimmerman, Frank E. Bobe III, Amelia L. McCormack, Matthew Cook, Gregory D. Vetaw
💡 개요
본 연구는 제한된 합성 개구 소나(SAS) 데이터셋으로 인한 수중 표적 인식(ATR)의 어려움을 해결하기 위해 DINOv3 Vision Transformer(ViT)를 활용하는 3단계 파라미터 효율적 프레임워크를 제안합니다. LoRA를 사용하여 사전 학습된 ViT 백본과 수중 음향 특성 간의 간극을 좁히고, 하드 네거티브 마이닝과 지도 학습 기반 대조 학습(SupCon)을 통해 표적과 잡음의 구분을 강화합니다. 연구 결과, LoRA만으로도 AUPRC가 크게 향상되었으며, 추가적인 개선 단계는 큰 효과를 보이지 않아 단일 효율적인 적응 단계만으로도 충분함을 시사합니다.
🔑 시사점 및 한계
•
LoRA의 효과: 제한된 SAS 데이터셋에 ViT 모델을 효과적으로 적용하는 데 LoRA가 핵심적인 역할을 하며, 적은 학습량으로도 상당한 성능 향상을 가져올 수 있습니다.
•
효율적인 학습 전략: 여러 단계의 복잡한 지도 학습 기반 개선보다 초기 파라미터 효율적인 적응 단계가 수중 SAS ATR 성능 향상에 더 중요합니다.
•
추가 개선 단계의 필요성: 하드 네거티브 마이닝 및 SupCon과 같은 추가적인 지도 학습 기반 개선 단계는 이미 인코더가 학습된 데이터에 적용되거나 기존 학습이 충분히 효과적이어서 유의미한 성능 향상을 가져오지 못했습니다.
•
향후 과제: 본 연구는 단일 효율적 적응 단계의 중요성을 강조했지만, 향후에는 LoRA와 결합하여 더 효과적인 지도 학습 기반 개선 전략을 탐색하거나, 다른 형태의 비지도 학습 또는 자기 지도 학습 기법을 활용하여 성능을 더욱 끌어올릴 수 있을 것입니다.