Collab-RAG: Boosting Retrieval-Augmented Generation for Complex Question Answering via White-Box and Black-Box LLM Collaboration
Created by
Haebom
저자
Ran Xu, Wenqi Shi, Yuchen Zhuang, Yue Yu, Joyce C. Ho, Haoyu Wang, Carl Yang
개요
Collab-RAG은 복잡한 질의응답 과제에서 정확도 향상을 위해 소형 언어 모델(SLM)과 대형 언어 모델(LLM) 간 상호 강화 학습 프레임워크를 제시합니다. SLM은 복잡한 질문을 단순한 하위 질문으로 분해하여 검색 정확도를 높이고 LLM의 추론을 효율적으로 지원하며, LLM은 SLM의 분해 능력 향상을 위한 피드백을 제공합니다. 최첨단 LLM의 추가적인 지식 증류 없이도 다양한 LLM에 대해 우수한 일반화 성능을 보이며, 다섯 개의 다단계 질의응답 데이터셋에서 기존 방법 대비 평균 1.8%-14.2%의 성능 향상을 기록했습니다. 특히, 미세 조정된 3B SLM이 고정된 32B LLM보다 질문 분해 능력이 뛰어나 복잡한 질문에 대한 추론 및 검색 개선의 효율성을 보여줍니다.
시사점, 한계점
•
시사점:
◦
소형 언어 모델과 대형 언어 모델의 상호 협력을 통한 다단계 질의응답 성능 향상 가능성 제시.
◦
최첨단 LLM의 추가적인 지식 증류 없이도 우수한 성능 달성.
◦
효율적인 질문 분해를 통한 복잡한 질문에 대한 추론 및 검색 성능 향상.
◦
다양한 LLM에 대한 일반화 성능 우수.
•
한계점:
◦
본 논문에서 제시된 방법의 특정 데이터셋 또는 질문 유형에 대한 의존성 여부에 대한 추가적인 분석 필요.
