본 논문은 소규모 로컬 모델 기반 대화형 에이전트에서 정보 부족을 해결하는 다양한 후속 질문 생성의 어려움을 다룹니다. 이를 해결하기 위해, 교사 LLM이 포괄적인 답변을 생성하고 초기 답변과 비교하여 정보 격차를 식별하고 격차를 메우는 후속 질문을 공식화하는 정보 격차 기반 지식 증류 파이프라인을 개발했습니다. 이 파이프라인을 사용하여 기존 FollowupQG 데이터셋을 10배 확장하고, 확장된 데이터셋으로 소규모 학생 모델을 미세 조정하여 교사의 지식을 증류했습니다. 선택된 교사-학생 모델 쌍에 대한 실험 결과, 미세 조정된 학생 모델은 원본 데이터셋으로 학습된 변형 모델보다 정보성과 다양성이 현저히 향상됨을 보였습니다. 이는 인간의 정보 탐색 인지 과정을 반영하는 본 파이프라인이 최첨단 LLM에서 소규모 모델로 효율적인 증류 채널을 제공하여 자원 제약이 있는 대화형 시스템에서 더욱 다양하고 정보가 풍부한 후속 질문을 생성할 수 있음을 시사합니다.
