TreeHop: Generate and Filter Next Query Embeddings Efficiently for Multi-hop Question Answering
Created by
- Haebom
Category
Empty
저자
Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu
개요
TreeHop은 다단계 질의응답(MHQA)에서 복잡한 질의에 대한 정보를 여러 문서 조각에서 종합해야 하는 검색 증강 생성(RAG) 시스템의 계산 비용 문제를 해결하기 위해 제안된 임베딩 기반 프레임워크입니다. 기존 RAG 시스템의 반복적인 LLM 기반 질의 재작성 및 라우팅 방식 대신, TreeHop은 임베딩 공간 연산만을 통해 이전 질의 및 검색된 문서의 의미 정보를 융합하여 질의 임베딩을 동적으로 업데이트함으로써 반복적인 검색을 수행합니다. "검색-재작성-벡터화-검색" 사이클을 "검색-임베딩-검색" 루프로 간소화하여 계산 오버헤드를 크게 줄이며, 규칙 기반 중지 기준을 도입하여 불필요한 검색을 제거하여 효율성과 재현율을 균형 있게 유지합니다. 실험 결과, TreeHop은 세 개의 오픈 도메인 MHQA 데이터셋에서 기존 최첨단 RAG 방법들과 비슷한 성능을 달성하면서 모델 매개변수 크기는 5%-0.4% 수준에 불과하고, 질의 지연 시간은 약 99% 감소시켰습니다. 이는 TreeHop이 다양한 지식 집약적 애플리케이션에 배포하기 위한 더 빠르고 비용 효율적인 솔루션임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM을 사용하지 않고 임베딩 기반으로 다단계 질의응답을 효율적으로 수행하는 새로운 접근 방식 제시.
◦
기존 RAG 시스템 대비 훨씬 적은 계산 비용 (99% 지연 시간 감소) 및 모델 크기 (5%-0.4%)로 동등한 성능 달성.
◦
다양한 지식 집약적 애플리케이션에 대한 빠르고 비용 효율적인 RAG 시스템 구축 가능성 제시.
◦
코드 및 데이터 공개를 통한 재현성 확보.
•
한계점:
◦
제시된 규칙 기반 중지 기준의 일반성 및 최적화 여부에 대한 추가 연구 필요.
◦
다양한 유형의 질의 및 데이터셋에 대한 성능 평가 추가 필요.
◦
임베딩 기반 접근 방식의 본질적인 한계로 인해 LLM 기반 접근 방식보다 성능이 떨어지는 특정 경우 존재 가능성.
