본 논문은 대규모 언어 모델(LLM)을 이용한 밀집 검색(Dense Retrieval) 성능 향상을 위한 새로운 방법론인 LLM-QL을 제시합니다. LLM의 생성 능력을 활용하여 질의 가능도(QL)를 극대화하는 보조 과제를 도입하고, Attention Block(AB)과 Document Corruption(DC)이라는 두 가지 구성 요소를 통해 LLM의 글로벌 정보 모델링 능력을 강화합니다. AB는 예측 토큰이 문서의 마지막 토큰 이전의 토큰에 대한 어텐션을 차단하고, DC는 예측 중 일부 토큰을 마스킹하여 문서를 훼손시킵니다. MS MARCO와 BEIR 데이터셋을 이용한 실험 결과, LLM-QL이 다른 LLM 기반 검색 모델보다 우수한 성능을 보임을 확인하였습니다.
시사점, 한계점
•
시사점:
◦
LLM의 생성 능력을 활용하여 밀집 검색 성능을 향상시키는 새로운 방법 제시
◦
QL 극대화 보조 과제를 통해 LLM의 글로벌 정보 모델링 개선
◦
AB와 DC 구성 요소의 효과성 검증
◦
MS MARCO와 BEIR 데이터셋에서 다른 LLM 기반 검색 모델 대비 우수한 성능 확인
