본 논문은 대규모 언어 모델(LLM)이 생성한 주석을 사용하여 검색 모델을 훈련하는 것을 연구합니다. 기존 검색 모델 훈련 및 평가에는 많은 비용이 드는 사람이 직접 라벨링한 질의-문서 관련성 주석이 필요하지만, 본 논문에서는 LLM이 생성한 주석을 활용하여 이러한 비용을 줄이고자 합니다. 기존 연구는 LLM의 성능을 다운스트림 작업에서 문서 라벨로 사용하거나, LLM이 RAG 참조로 유용한 문서를 선택하도록 프롬프트하는 방식을 사용했지만, 각각 고비용 또는 특정 작업에 국한되는 한계가 있었습니다. 본 논문에서는 LLM의 유용성 판단을 활용하여 대규모 검색 데이터를 주석화하고, LLM이 생성한 낮은 품질의 양성 데이터의 영향을 줄이기 위해 새로운 손실 함수인 Disj-InfoNCE를 설계합니다. 실험 결과, 유용성 중심 주석으로 훈련된 검색 모델은 특히 도메인 외 설정에서 사람이 주석한 데이터로 훈련된 모델보다 우수한 일반화 성능을 보였으며, 도메인 내 설정에서는 20%의 사람이 주석한 데이터만 추가해도 사람이 완전히 주석한 데이터로 훈련된 모델과 동등한 성능을 달성할 수 있음을 보였습니다.
