본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해, 상용 LLM으로부터 지식 증류(KD)를 활용하는 소규모 오픈소스 모델 개선 연구에 대한 것이다. 기존 연구들이 단일 LLM의 응답만을 정답 근거로 사용하는 것과 달리, 본 논문은 인간 학습 과정처럼 정답과 오답 이유 모두를 이해하는 데 초점을 맞춘다. 이를 위해, Fault-Aware DistIllation via Peer-Review (FAIR) 기법을 제안한다. FAIR는 1) 교사 LLM이 학생 모델의 실수를 식별하고 설명하여 맞춤형 학습 데이터를 제공하고, 2) 교사 LLM 간의 시뮬레이션된 동료 검토 과정을 통해 허용 기준을 넘는 근거만을 선택함으로써 잘못된 근거로 정답을 추측할 가능성을 줄이고 학습 데이터의 질을 향상시킨다. 수학, 상식, 논리 추론 과제에 대한 실험 결과를 통해 본 방법의 효과를 입증하고, 코드를 공개한다.
