본 논문은 대규모 언어 모델(LLM)을 활용하여 문서 기반 질의 확장을 수행하는 새로운 방법인 LLM-QE를 제안합니다. 기존 방법과 달리, 순위 기반과 답변 기반 보상 모델을 설계하여 LLM이 검색 시스템과 LLM 자체의 순위 선호도에 맞춰 질의 확장을 생성하도록 최적화합니다. 이를 통해 LLM의 환각 현상을 완화하고, 단순히 순위를 높이기 위한 중복 토큰 생성이 아닌, 문서와 관련된 더욱 정확하고 관련성 높은 정보를 생성합니다. Contriever 모델을 이용한 실험 결과, 제로샷 밀집 검색 성능을 8% 이상 향상시켰으며, 밀집 검색 모델의 미세 조정 과정에서도 5% 이상의 성능 향상을 달성했습니다. 소스 코드는 공개되어 있습니다.