Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Your Dense Retriever is Secretly an Expeditious Reasoner

Created by
  • Haebom

저자

Yichi Zhang, Jun Bai, Zhixin Cai, Shuhan Qin, Zhuofan Chen, Jinghua Guan, Wenge Rong

AdaQR: Adaptive Query Reasoning

개요

Dense retrievers는 쿼리와 문서를 연속적인 벡터로 인코딩하여 검색을 개선하지만, 추론 집약적인 쿼리에는 어려움을 겪습니다. 대규모 언어 모델(LLM)은 복잡한 추론을 포착하기 위해 쿼리를 재구성할 수 있지만, 이를 보편적으로 적용하면 상당한 계산 비용이 발생합니다. 본 연구에서는 하이브리드 쿼리 재작성 프레임워크인 AdaQR(Adaptive Query Reasoning)을 제안합니다. 이 프레임워크 내에서 Reasoner Router는 각 쿼리를 빠르고 밀집된 추론 또는 심층 LLM 추론으로 동적으로 안내합니다. 밀집된 추론은 Dense Reasoner에 의해 수행되며, 이는 임베딩 공간에서 직접 LLM 스타일의 추론을 수행하여 효율성과 정확성 사이의 제어 가능한 트레이드 오프를 가능하게 합니다. 대규모 검색 벤치마크 BRIGHT에 대한 실험 결과, AdaQR은 검색 성능을 유지하거나 심지어 7% 향상시키면서 추론 비용을 28% 감소시켰습니다.

시사점, 한계점

시사점:
AdaQR은 쿼리 재작성을 위한 하이브리드 프레임워크를 제시하여 검색 시스템의 효율성을 향상시킵니다.
Reasoner Router를 사용하여 쿼리를 동적으로 분류하여 LLM 사용으로 인한 계산 비용을 절감합니다.
Dense Reasoner는 임베딩 공간에서 LLM 스타일의 추론을 수행하여 효율적인 추론을 가능하게 합니다.
BRIGHT 벤치마크에서 검색 성능을 유지하거나 향상시키면서 추론 비용을 절감하는 효과를 입증했습니다.
한계점:
AdaQR의 성능은 Dense Reasoner 및 Reasoner Router의 설계에 따라 달라질 수 있습니다.
특정 쿼리 유형에 대한 AdaQR의 효과는 쿼리 특성에 따라 다를 수 있습니다.
대규모 언어 모델의 활용은 여전히 계산 비용이 발생할 수 있습니다.
👍