본 논문은 대규모 언어 모델(LLM) 기반 하이브리드 검색 시스템의 성능 향상을 위한 새로운 방법인 LightRetriever를 제안합니다. 기존의 LLM 기반 하이브리드 검색은 질의와 문서를 모두 LLM을 이용하여 벡터로 변환하는데, 이는 온라인 질의 처리 속도를 저하시키는 단점이 있습니다. LightRetriever는 문서 인코딩에는 기존의 대규모 LLM을 사용하지만, 질의 인코딩 과정을 임베딩 조회(embedding lookup)로 단순화하여 처리 속도를 획기적으로 개선합니다. GPU 가속을 사용할 경우 기존 방식 대비 1000배 이상의 속도 향상을 달성하며, GPU 없이도 20배의 속도 향상을 보입니다. 다양한 검색 벤치마크 실험 결과, 기존 방식 대비 평균 95% 수준의 성능을 유지하는 것으로 나타났습니다.
