본 논문은 대규모 비전-언어 모델(LVLMs)의 발전에도 불구하고, 생성 작업에서는 뛰어나지만 고충실도 표현 학습이 필요한 작업(예: 검색을 위한 이미지 또는 텍스트 임베딩 생성)에서는 한계를 보이는 점을 지적합니다. 기존의 LVLMs 미세 조정 방식은 표현 학습에 치중하여 생성 능력을 잃는다는 문제가 있습니다. 이를 해결하기 위해, 본 논문은 대조 학습과 자기회귀 언어 모델링을 통합한 CAFe라는 새로운 미세 조정 프레임워크를 제시합니다. CAFe는 표현 학습과 생성 작업을 통합하여 다중 모드 검색 및 생성 벤치마크에서 최첨단 결과를 달성하며, 특히 객체 환각(OH) 완화에도 효과적임을 보입니다. 결론적으로 CAFe는 단일 모델에서 임베딩 및 생성 기능을 통합하여 검색 정확도와 일관된 출력 생성 모두에서 탁월한 성능을 보이는 미래의 다중 모드 모델을 위한 기반을 마련합니다.
시사점, 한계점
•
시사점:
◦
대조 학습과 자기회귀 언어 모델링을 통합한 CAFe 프레임워크는 LVLMs의 표현 학습 및 생성 능력을 동시에 향상시킵니다.
◦
다중 모달 검색 및 생성 작업에서 최첨단 성능을 달성합니다.
◦
객체 환각(OH) 문제를 완화하는 데 효과적입니다.
◦
단일 모델에서 임베딩과 생성 기능을 통합하는 새로운 패러다임을 제시합니다.
•
한계점:
◦
CAFe 프레임워크의 성능이 다양한 LVLMs과 데이터셋에 대해 얼마나 일반화되는지에 대한 추가적인 연구가 필요합니다.
