TeaRAG는 대규모 언어 모델(LLM)의 신뢰성을 높이기 위해 외부 지식을 활용하는 검색 증강 생성(RAG) 프레임워크입니다. 특히, 검색 및 추론 과정을 압축하여 정확성 뿐만 아니라 효율성을 향상시키는 데 초점을 맞췄습니다. 이를 위해, (1) 간결한 triplet을 사용한 그래프 검색을 통해 검색된 콘텐츠를 압축하고, 개인화된 PageRank를 활용하여 핵심 지식을 강조함으로써 토큰 수를 줄이고, (2) 반복적인 프로세스 인식 직접 선호도 최적화(IP-DPO)를 통해 추론 단계를 줄였습니다. Llama3-8B-Instruct 및 Qwen2.5-14B-Instruct 모델에서 평균 Exact Match를 4% 및 2% 향상시키면서 출력 토큰 수를 각각 61% 및 59% 감소시켰습니다.
시사점, 한계점
•
시사점:
◦
토큰 효율성을 개선하여 agentic RAG 프레임워크의 효율성과 정확성을 모두 향상시켰습니다.
◦
그래프 기반 검색 및 IP-DPO를 활용하여 검색 및 추론 단계를 효과적으로 압축했습니다.
