Sign In

LLM-QE: Improving Query Expansion by Aligning Large Language Models with Ranking Preferences

Created by
  • Haebom
Category
Empty

저자

Sijia Yao, Pengcheng Huang, Zhenghao Liu, Yu Gu, Yukun Yan, Shi Yu, Ge Yu

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 문서 기반 질의 확장을 수행하는 새로운 방법인 LLM-QE를 제안합니다. 기존 방법과 달리, 순위 기반과 답변 기반 보상 모델을 설계하여 LLM이 검색 시스템과 LLM 자체의 순위 선호도에 맞춰 질의 확장을 생성하도록 최적화합니다. 이를 통해 LLM의 환각 현상을 완화하고, 단순히 순위를 높이기 위한 중복 토큰 생성이 아닌, 문서와 관련된 더욱 정확하고 관련성 높은 정보를 생성합니다. Contriever 모델을 이용한 실험 결과, 제로샷 밀집 검색 성능을 8% 이상 향상시켰으며, 밀집 검색 모델의 미세 조정 과정에서도 5% 이상의 성능 향상을 달성했습니다. 소스 코드는 공개되어 있습니다.

시사점, 한계점

시사점:
LLM을 활용한 새로운 질의 확장 방법(LLM-QE) 제시 및 효과 검증.
순위 기반 및 답변 기반 보상 모델을 통한 LLM의 환각 현상 완화.
제로샷 밀집 검색 및 밀집 검색 모델 미세 조정 성능 향상.
공개된 소스 코드를 통한 재현성 확보.
한계점:
특정 밀집 검색 모델(Contriever)에 대한 실험 결과만 제시되어 일반화 가능성에 대한 추가 연구 필요.
다른 유형의 LLM이나 검색 모델에 대한 성능 평가가 부족.
보상 모델 설계의 최적화에 대한 추가적인 연구 필요.
👍