지식 증류(KD)는 교사 모델의 지식을 활용하여 작고 특정 작업에 맞는 모델을 훈련하는 데 널리 사용되는 프레임워크입니다. 하지만 반복적인 샘플 선택을 통해 주석 비용을 최소화하는 것을 목표로 하는 적극적 학습(AL)에 대한 적용은 아직 충분히 연구되지 않았습니다. 이러한 간극은 KD가 일반적으로 충분한 레이블이 지정된 데이터에 대한 접근을 가정하는 반면, AL은 특정 작업에 맞는 교사 모델을 사용할 수 없는 데이터 부족 시나리오에서 작동한다는 사실에서 비롯됩니다. 본 논문에서는 대규모 비전-언어 모델(VLM)의 제로샷 및 몇몇 샷 기능을 활용하여 AL과 KD를 통합하는 프레임워크인 ActiveKD를 소개합니다. ActiveKD의 핵심은 VLM의 구조화된 예측 편향, 즉 예측이 확률 공간에서 클러스터를 형성한다는 점입니다. 우리는 이 구조를 학생 학습에 유익한 일반화 가능한 출력 패턴을 포착하는 교사 모델의 귀납적 편향으로 간주합니다. 이 편향을 활용하기 위해 특징 공간이 아닌 확률 공간에서의 적용 범위를 극대화하는 선택 전략인 확률적 코어셋(PCoreSet)을 제안합니다. PCoreSet은 범주적으로 다양한 레이블이 지정되지 않은 샘플을 전략적으로 선택하여 제한된 주석 예산 하에서 교사 지식의 더 효율적인 전달을 가능하게 합니다. 11개의 데이터셋에 대한 평가는 PCoreSet이 ActiveKD 프레임워크 내에서 기존의 선택 방법보다 지속적으로 우수한 성능을 보임을 보여주며, AL과 KD의 교차점에서 연구를 발전시킵니다.
