Efficient Adaptation For Remote Sensing Visual Grounding
Created by
Haebom
저자
Hasan Moughnieh, Mohamad Chalhoub, Hasan Nasrallah, Cristiano Nattero, Paolo Campanella, Giovanni Nico, Ali J. Ghandour
개요
본 논문은 원격 감지(RS) 분야에서 시각적 기반(VG) 작업을 위한 사전 훈련된 모델 적응에 초점을 맞추고 있습니다. 기존의 처음부터 모델을 훈련하는 방식 대신, 매개변수 효율적 미세 조정(PEFT) 기법을 사용하여 Grounding DINO 및 OFA 기반 모델을 RS 특정 VG 작업에 적용했습니다. LoRA, BitFit, adapter 등의 PEFT 기법을 통해 계산 비용을 크게 줄이면서 최첨단(SOTA) 성능과 비슷하거나 뛰어넘는 성능을 달성했습니다. 이는 RS에서 효율적이고 정확한 다중 모달 분석을 위한 PEFT 기법의 잠재력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
RS 분야에서 PEFT 기법을 활용한 효율적인 다중 모달 분석 가능성 제시
◦
기존의 SOTA 모델에 필적하거나 능가하는 성능 달성
◦
계산 비용을 크게 절감하는 비용 효율적인 접근 방식 제안
◦
LoRA, BitFit, adapter 등 다양한 PEFT 기법의 RS 분야 적용 가능성 검증
•
한계점:
◦
특정 PEFT 기법과 모델에 대한 평가로, 다른 PEFT 기법이나 모델에 대한 일반화 가능성은 추가 연구 필요
