EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation
Created by
Haebom
저자
Taeho Hwang, Sukmin Cho, Soyeong Jeong, Hoyun Song, SeungYoon Han, Jong C. Park
개요
EXIT는 질문응답(QA)에서 검색 증강 생성(RAG)의 효과성과 효율성을 향상시키는 추출적 컨텍스트 압축 프레임워크입니다. 기존 RAG 시스템은 검색 모델이 가장 관련성이 높은 문서의 순위를 매기지 못할 때 어려움을 겪는데, 이는 지연 시간과 정확도를 희생하면서 더 많은 컨텍스트를 포함하게 만듭니다. 추상적 압축 방법은 토큰 수를 크게 줄일 수 있지만, 토큰 단위 생성 프로세스로 인해 종단 간 지연 시간이 크게 증가합니다. 반대로, 기존의 추출적 방법은 지연 시간을 줄이지만 독립적이고 비적응적인 문장 선택에 의존하여 컨텍스트 정보를 완전히 활용하지 못합니다. EXIT는 검색된 문서에서 문장을 분류하면서(컨텍스트 의존성을 유지하면서) 질의 복잡성과 검색 품질에 적응하는 병렬화 가능하고 컨텍스트 인식 추출을 가능하게 합니다. 단일 홉과 다중 홉 QA 작업에 대한 평가 결과, EXIT는 기존 압축 방법과 압축되지 않은 기준 모델보다 QA 정확도가 일관되게 우수하며 추론 시간과 토큰 수도 상당히 감소시키는 것으로 나타났습니다. EXIT는 효과성과 효율성을 모두 향상시킴으로써 RAG 파이프라인에서 확장 가능하고 고품질의 QA 솔루션을 개발하는 유망한 방향을 제시합니다. 코드는 https://github.com/ThisIsHwang/EXIT 에서 이용 가능합니다.
