본 논문에서는 매개변수 효율적인 프롬프트 학습 방법인 FDBPL(Faster Distillation-Based Prompt Learning)을 제안합니다. 기존의 soft-prompt 방법들은 특정 작업에 대한 하드 라벨에 크게 의존하여 미지의 범주에 대한 일반화 성능이 제한적이라는 한계를 가지고 있으며, distillation-based 방법들은 teacher 모델의 반복적인 추론으로 인해 훈련 효율성이 떨어지는 문제점이 있습니다. FDBPL은 여러 훈련 단계에서 소프트 감독 컨텍스트를 공유하고 I/O를 가속화하여 이러한 문제점을 해결합니다. 또한, 다양한 수준의 정보를 포함하는 임의로 잘린 영역을 완전히 활용하기 위해 이중 양성-음성 프롬프트 공간을 갖는 영역 인식 프롬프트 학습 패러다임을 도입하고, 유사성-차이 학습에 기반한 양성-음성 공간 상호 학습 메커니즘을 통해 학생 CLIP 모델이 올바른 의미를 인식하고 약하게 관련된 개념을 거부하도록 학습하여 제로샷 성능을 향상시킵니다. 기존 방법과 달리 FDBPL은 매개변수 효율성과 강력한 하위 작업 일반화라는 두 가지 장점을 모두 유지합니다. 11개의 데이터셋에 대한 포괄적인 평가 결과, 기본에서 새로운 것으로의 일반화, 데이터셋 간 전이, 강건성 테스트에서 우수한 성능을 달성하며, 훈련 속도는 2.2배 향상되었습니다.
