본 논문은 대규모 언어 모델(LLM)을 활용하여 문서 유용성을 주석화하고, 검색 및 검색 증강 생성(RAG) 시스템 훈련에서 값비싼 수동 주석에 대한 의존도를 줄이는 방법을 탐구합니다. 검색 관련성과 생성적 유용성 간의 차이를 해결하기 위해 LLM을 사용하여 문서 유용성을 주석화합니다. 쿼리당 여러 개의 긍정적 샘플을 효과적으로 활용하기 위해, 이들의 합산된 한계 우도를 극대화하는 새로운 손실 함수를 제안합니다. Qwen-2.5-32B 모델을 사용하여 MS MARCO 데이터셋에 유용성 주석을 달고, MS MARCO 및 BEIR에 대한 검색 실험과 MS MARCO QA, NQ, HotpotQA에 대한 RAG 실험을 수행합니다. 실험 결과, LLM이 생성한 주석은 수동 주석이나 하위 QA 지표로만 훈련된 모델에 비해 도메인 외 검색 성능을 향상시키고 RAG 결과를 개선하는 것으로 나타났습니다. 또한, LLM 주석을 수동 주석의 20%와 결합하여 전체 수동 주석을 사용한 것과 비슷한 성능을 달성했습니다. 본 연구는 새로운 말뭉치에 QA 시스템을 초기화하기 위한 LLM 주석 활용에 대한 포괄적인 접근 방식을 제시합니다.
