Doubly Debiased Test-Time Prompt Tuning for Vision-Language Models
Created by
Haebom
Category
Empty
저자
Fei Song, Yi Li, Rui Wang, Jiahuan Zhou, Changwen Zheng, Jiangmeng Li
개요
본 논문은 비전-언어 모델의 테스트 시간 프롬프트 튜닝에서 발생하는 프롬프트 최적화 편향의 근본적인 원인을 분석하고, 이를 해결하기 위한 Doubly Debiased Test-Time Prompt Tuning 방법을 제안한다. 모델 및 데이터 측면에서 발생하는 편향을 분석하고, 동적 검색 보조 변조 모듈과 신뢰도 기반 프롬프트 최적화 모듈을 통해 성능을 향상시킨다. 15개의 벤치마크 데이터셋에서 기존 방법들을 능가하는 성능을 보였다.
시사점, 한계점
•
시사점:
◦
테스트 시간 프롬프트 튜닝에서의 최적화 편향 문제를 모델 및 데이터 관점에서 분석하고 해결책을 제시함.
◦
동적 검색 보조 변조 모듈을 통해 지식 기반을 활용하여 예측의 정확성을 높임.
◦
신뢰도 기반 가중 앙상블 및 교차 모달 일관성 증류를 통해 프롬프트 튜닝의 안정성을 확보함.
