본 논문은 대규모 언어 모델(LLM)의 환각 문제를 완화하기 위해, 기존의 조기 종료 logits을 이용한 대조 학습 방식(DoLa)의 한계를 지적하고, 새로운 대조적 디코딩 방법인 PruneCD를 제안합니다. DoLa는 조기 종료 logits이 낮은 크기와 정보 부족으로 인해 효과적인 대조 학습을 수행하지 못하는 문제점을 가지고 있습니다. PruneCD는 계층 가지치기를 통해 amateur model을 구성하여 더욱 정보가 풍부하고 정렬된 logits을 생성함으로써, 대조적 디코딩의 효율성을 높입니다. 실험 결과, PruneCD는 추론 오버헤드를 최소화하면서 사실성을 향상시키는 효과적인 방법임을 보여줍니다.
