DIVER: A Multi-Stage Approach for Reasoning-intensive Information Retrieval
Created by
Haebom
저자
Meixiu Long, Duolin Sun, Dan Yang, Junjie Wang, Yue Shen, Jian Wang, Peng Wei, Jinjie Gu, Jiahai Wang
개요
본 논문은 지식 집약적인 작업에서 질의-문서 관련성을 직접적인 어휘 또는 의미적 일치를 통해 식별할 수 있는 환경에서 강력한 성능을 달성한 검색 증강 생성 모델의 한계를 다룹니다. 기존 검색 시스템은 추상적 추론, 유추적 사고 또는 다단계 추론을 포함하는 많은 실제 질의를 포착하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 논문에서는 추론 집약적인 정보 검색을 위해 고안된 검색 파이프라인인 DIVER를 제시합니다. DIVER는 입력 품질 향상을 위한 문서 처리, 반복적인 문서 상호 작용을 통한 LLM 기반 질의 확장, 하드 네거티브를 사용하여 합성 다영역 데이터에서 미세 조정된 추론 향상 검색기, 그리고 LLM이 할당한 유용성 점수와 검색 점수를 결합하는 점별 재순위 지정기의 네 가지 구성 요소로 구성됩니다. BRIGHT 벤치마크에서 DIVER는 원본 질의에 대해 최첨단 nDCG@10 점수인 41.6과 28.9를 달성하여 경쟁적인 추론 인식 모델을 일관되게 능가합니다. 이러한 결과는 복잡한 실제 작업에서 추론 인식 검색 전략의 효과를 보여줍니다. 코드와 검색 모델은 곧 공개될 예정입니다.
시사점, 한계점
•
시사점: 추론 집약적인 정보 검색을 위한 효과적인 새로운 검색 파이프라인 DIVER 제시. BRIGHT 벤치마크에서 SOTA 성능 달성. LLM 기반 질의 확장 및 추론 향상 검색기의 효과 입증. 복잡한 실제 작업에서 추론 인식 검색 전략의 중요성 강조.
•
한계점: 코드와 검색 모델이 아직 공개되지 않음. BRIGHT 벤치마크 외 다른 벤치마크에서의 성능 검증 필요. 다양한 유형의 추론 작업에 대한 일반화 성능 평가 필요.
