# Knowledge Distillation Must Account for What It Loses

### 저자

Wenshuo Wang

### 💡 개요

본 논문은 지식 증류(Knowledge Distillation) 과정에서 학습된 학생 모델이 단순히 과제 성능 점수뿐만 아니라, 교사 모델의 신뢰할 수 있는 능력(capability)까지 얼마나 보존하는지를 평가해야 한다고 주장합니다. 현재의 평가 방식은 점수 보존이 능력 보존을 의미한다고 가정하는 오류가 있으며, 이를 해결하기 위해 증류 과정에서 발생하는 측정되지 않는 손실을 분류하고 이를 보고하기 위한 '증류 손실 명세서(Distillation Loss Statement)'를 제안합니다. 궁극적으로 무손실 증류가 아닌, 책임감 있는(accountable) 증류를 목표로 합니다.

### 🔑 시사점 및 한계

- 현재의 지식 증류 평가는 과제 수행 점수만을 기준으로 하여 교사 모델의 근본적인 능력 손실을 간과할 수 있습니다.

- 교사 모델의 신뢰성을 만드는 핵심 능력이 손실될 경우, 표면적인 성능 향상에도 불구하고 모델의 실제 유용성은 저하될 수 있습니다.

- 제안된 '증류 손실 명세서'는 증류 과정에서 무엇이 보존되고 무엇이 손실되었는지, 그리고 손실이 왜 수용 가능한지를 명확히 하여 보다 투명하고 책임감 있는 연구를 가능하게 합니다.

- 모든 잠재적인 능력 손실을 포괄적으로 측정하고 정량화하는 것은 여전히 어려운 과제로 남아 있으며, 제안된 명세서의 실질적인 적용 가능성에 대한 추가적인 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.25110)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).