Beyond CNNs: Efficient Fine-Tuning of Multi-Modal LLMs for Object Detection on Low-Data Regimes
Created by
Haebom
저자
Nirmal Elamon, Rouzbeh Davoudi
개요
본 논문은 객체 탐지 및 이해 분야의 발전을 다루며, 특히 CNN 기반 모델과 멀티 모달 LLM을 비교 분석한다. 인공 텍스트 오버레이 탐지 과제에서 CNN, 사전 훈련된 LLM, 미세 조정된 LLM을 비교하고, LLM이 적은 데이터로도 CNN에 필적하거나 능가하는 성능을 낼 수 있음을 입증한다. 본 연구는 시각-언어 연결을 강화하고, 저자원 시각 환경에서 멀티 모달 변환기의 효율적인 적용을 위한 지침을 제공한다.
시사점, 한계점
•
시사점:
◦
LLM은 매우 적은 데이터로도 fine-tuning을 통해 CNN 기반 모델과 동등하거나 더 나은 성능을 달성할 수 있다.
