본 논문은 고객 지원 분야에서 대규모 언어 모델(LLM)의 활용을 제한하는 환각(허위 정보 생성) 및 독점 모델의 높은 비용 문제를 해결하기 위해, 검색 기반 질의응답(QA) 파이프라인을 제안하고, 인간의 개입과 자동화 간의 균형을 모색한다. 삼성 스마트 TV 사용 설명서에 대한 질문 데이터셋을 사용하여, LLM이 생성한 합성 데이터가 크라우드소싱 데이터보다 미세 조정된 모델의 환각 감소에 더 효과적임을 보여준다. 또한 자가 학습(모델의 출력으로 미세 조정)과 지식 증류(더 강력한 모델의 출력으로 미세 조정, 예: GPT-4)를 비교하여 자가 학습이 유사한 환각 감소 효과를 달성함을 확인하고, 이는 지식 증류의 경우 노출 편향 문제 증가 때문이라고 추측하며 추가 분석을 통해 이를 뒷받침한다. 더불어, 문맥에 맞는 "모르겠습니다" 응답을 통해 응답 불가능한 질문 및 검색 실패에 대한 강건성을 향상시킨다. 이러한 결과는 오픈소스 모델을 사용한 합성 데이터와 자가 학습을 통해 확장 가능하고 비용 효율적인 QA 시스템을 구축할 수 있으며, 독점 도구 또는 고비용의 인간 주석에 대한 의존도를 줄일 수 있음을 보여준다.
