본 논문은 검색 증강 생성(RAG)에서 유틸리티 기반 검색의 효율성을 높이기 위해, 대규모 언어 모델(LLM)의 유틸리티 판단 능력을 소형 모델로 증류하는 방법을 제안합니다. 특히, 복잡한 질문에 대한 답변 생성을 위해 유틸리티 기반 선택 접근 방식을 적용하며, 고정 임계값이 아닌 동적 문단 선택을 가능하게 합니다. 교사 LLM(Qwen3-32B)으로부터 가짜 답변 생성과 유틸리티 판단을 학습한 학생 모델(RankQwen1.7B, UtilityQwen1.7B)을 훈련하여 계산 비용을 줄이면서 답변 품질을 향상시켰습니다. MS MARCO 데이터셋에 대한 관련성 랭킹 및 유틸리티 기반 선택 주석을 공개하여 해당 분야의 연구를 지원할 예정입니다.
