본 논문은 대규모 언어 모델(LLM)을 활용한 밀집 검색(Dense Retrieval) 성능 향상을 위한 새로운 방법론인 LLM-QL을 제안합니다. 기존 LLM 기반 밀집 검색은 생성 모델의 특성상 전역 정보 모델링에 어려움을 겪는다는 한계를 가지고 있습니다. 본 연구는 질의 가능도(Query Likelihood, QL) 모델의 아이디어를 차용하여, LLM의 생성 능력을 극대화하는 보조 과제(QL 최대화)를 도입합니다. LLM-QL은 QL 추정치를 이용한 문서 순위 매기기 대신, 대조 학습 기반의 판별적 검색기를 위한 더 나은 백본을 생성하기 위해 QL 최대화를 활용합니다. 전역 문서 의미를 단일 벡터로 응축하기 위해, 주의 중단(Attention Stop, AS)과 입력 손상(Input Corruption, IC)이라는 두 가지 주요 구성 요소를 사용합니다. MSMARCO 데이터셋 실험 결과, LLM-QL은 다른 LLM 기반 검색 모델보다 훨씬 우수한 성능을 달성했으며, LLM-QL로 추정된 QL을 순위 매기기에 사용하는 것이 기존 단어 기반 QL보다 성능이 크게 향상됨을 보였습니다.
