본 논문은 자원 제약 환경에서 비전-언어 모델(VLMs)의 배포 문제를 해결하기 위해, 지식 증류(KD) 기반의 새로운 프레임워크인 Dual-Head Optimization (DHO)를 제안합니다. DHO는 라벨링된 데이터와 교사 모델의 예측으로부터 독립적으로 학습하는 두 개의 예측 헤드를 사용하여, 추론 시 두 헤드의 출력을 선형적으로 결합합니다. 이를 통해 지도 학습과 지식 증류 신호 간의 기울기 충돌을 완화하고, 단일 헤드 기반 KD보다 효과적인 특징 학습을 가능하게 합니다. 다양한 도메인과 세분화된 데이터셋에 대한 실험 결과, DHO는 기존 방법들을 능가하는 성능을 보이며, 특히 ImageNet에서 최첨단 성능을 달성합니다. 1% 및 10%의 라벨링된 데이터를 사용하여 정확도를 각각 3% 및 0.1% 향상시키면서 매개변수 수를 줄였습니다.
