본 논문은 Vision-Language Model(VLM)의 효율적인 적응 학습 방법으로 떠오른 프롬프트 학습의 과적합 및 제로샷 일반화 성능 저하 문제를 해결하기 위해 Optimal Transport(OT) 기반 프롬프트 학습 프레임워크를 제안합니다. 기존의 point-wise 제약 조건과 달리 OT는 인스턴스 간 관계를 고려하여 매개변수 공간을 확장함으로써 적응력과 일반화 성능 간의 균형을 개선합니다. 비전 및 텍스트 표현 모두에 대한 공동 제약 조건을 적용하여 전체적인 특징 정렬을 보장하며, 추가적인 증강이나 앙상블 기법 없이 기존 프롬프트 학습 전략보다 우수한 성능을 보임을 실험적으로 입증합니다.
시사점, 한계점
•
시사점:
◦
OT 기반 프롬프트 학습을 통해 VLM의 과적합 문제와 제로샷 일반화 성능 저하 문제를 효과적으로 해결할 수 있음을 제시합니다.
◦
추가적인 데이터 증강이나 앙상블 기법 없이도 기존 방법보다 우수한 성능을 달성합니다.
◦
비전 및 텍스트 표현에 대한 공동 제약 조건을 통해 더욱 강건하고 일반화된 모델을 학습할 수 있습니다.
◦
본 연구는 프롬프트 학습 분야에 OT라는 새로운 관점을 제시하며, 향후 연구 방향을 제시합니다.
•
한계점:
◦
제안된 방법의 효과는 특정 데이터셋과 모델에 국한될 가능성이 있습니다.
◦
OT 계산의 복잡도로 인해 대규모 데이터셋에 적용하는 데 어려움이 있을 수 있습니다.
◦
본 논문에서 사용된 특정 프롬프트 학습 방법에 의존적일 수 있으며, 다른 프롬프트 학습 방법에도 적용 가능한지 추가적인 연구가 필요합니다.
