지식 증류(KD)는 대규모 사전 학습된 교사 모델을 사용하여 작고 효율적인 학생 모델을 학습하는 강력한 기법이지만, 학생 모델이 표면적인 특징만 학습하여 그룹 공정성 저하를 야기할 수 있다는 문제점이 있다. 본 논문은 조기 종료 신경망(EENN)과 라플라스 근사 기반의 불확실성 추정을 활용하여 이 문제를 해결하고자 한다. 라플라스 근사는 마진 기반 방법보다 어렵거나 모호한 인스턴스를 더욱 효과적으로 식별하여, 인스턴스 가중치를 조정함으로써 교차 엔트로피 및 증류 손실을 개선하고 그룹 공정성을 향상시킨다. MultiNLI 데이터셋과 Bert 기반 모델을 사용하여 제안된 방법의 성능을 평가한다.
