Retrieval-Augmented Generation (RAG) 모델에서 긴 입력 길이로 인한 계산 비용 증가 문제를 해결하기 위해, CORE라는 손실 없는 컨텍스트 압축 기법을 제안한다. CORE는 사전 정의된 압축 지침 없이, downstream task 성능을 피드백 신호로 활용하여 end-to-end 방식으로 압축 정책을 최적화한다. 3%의 높은 압축률에서도 성능 저하를 막고, Exact Match (EM) 점수를 3.3점 향상시키는 효과를 보였다.
시사점, 한계점
•
시사점:
◦
RAG 모델의 컨텍스트 압축을 위한 새로운 end-to-end 학습 기법 제안.
◦
사전 정의된 압축 라벨 없이, downstream task 성능을 활용하여 압축 정책 학습.
