Retrieval-Augmented Dynamic Prompt Tuning for Incomplete Multimodal Learning
Created by
Haebom
저자
Jian Lang, Zhangtao Cheng, Ting Zhong, Fan Zhou
개요
불완전한 모달리티를 가진 다모달 학습은 실용적이지만 어려운 문제입니다. 최근 연구는 학습 가능한 프롬프트를 적용하여 누락된 모달리티 조건 하에서 사전 훈련된 다모달 트랜스포머(MMT)의 강건성을 향상시키는 데 중점을 두었습니다. 그러나 이러한 프롬프트 기반 방법은 다음과 같은 몇 가지 한계점을 가지고 있습니다. (1) 불완전한 모달리티는 작업 특정 추론에 제한된 모달 큐를 제공합니다. (2) 누락된 콘텐츠에 대한 더미 대체는 정보 손실을 야기하고 노이즈를 발생시킵니다. (3) 정적 프롬프트는 인스턴스와 무관하며 다양한 누락 조건을 가진 인스턴스에 대한 제한된 지식을 제공합니다. 이러한 문제를 해결하기 위해 본 논문에서는 새로운 검색 증강 동적 프롬프트 조정 프레임워크인 RAGPT를 제안합니다. RAGPT는 세 가지 모듈로 구성됩니다. (I) 모달 내 검색 전략을 통해 유사한 인스턴스를 식별하는 다채널 검색기, (II) 검색된 컨텍스트를 사용하여 누락된 정보를 복구하는 누락된 모달리티 생성기, (III) 관련 인스턴스의 컨텍스트 지식을 포착하고 MMT의 강건성을 크게 향상시키는 동적 프롬프트를 생성하는 컨텍스트 인식 프롬프터입니다. 세 개의 실제 데이터 세트에 대한 광범위한 실험을 통해 RAGPT가 불완전한 모달리티 문제를 처리하는 데 모든 경쟁 기준보다 일관되게 우수한 성능을 보임을 보여줍니다. 코드는 https://github.com/Jian-Lang/RAGPT 에서 확인할 수 있습니다.
시사점: 불완전한 모달리티 문제를 해결하기 위한 효과적인 새로운 프레임워크인 RAGPT를 제시했습니다. 다채널 검색, 누락된 모달리티 생성, 컨텍스트 인식 프롬프트 생성을 통해 기존 프롬프트 기반 방법의 한계를 극복했습니다. 실험 결과를 통해 RAGPT의 우수성을 검증했습니다.
•
한계점: 제안된 방법의 성능은 검색된 컨텍스트의 질에 의존적일 수 있습니다. 다양한 유형의 불완전한 모달리티 데이터에 대한 일반화 성능에 대한 추가적인 연구가 필요합니다. 특정 도메인에 과적합될 가능성이 존재합니다.
