Maxime Louis, Thibault Formal, Herve Dejean, Stephane Clinchant
개요
Retrieval-Augmented Generation (RAG)은 외부 지식을 통합하여 대규모 언어 모델(LLM)의 정확성과 관련성을 향상시키지만, 검색 크기가 커짐에 따라 계산 비용이 많이 든다는 문제점이 있습니다. 본 논문에서는 이 문제를 해결하기 위해 쿼리에 따라 동적으로 정보를 압축하는 새로운 온라인 소프트 압축 방법인 OSCAR을 제시합니다. OSCAR은 기존의 하드 압축 방식이나 오프라인 소프트 압축 방식과 달리 추론 시에 정보를 압축하여 저장 공간 오버헤드를 제거하고 더 높은 압축률을 달성합니다. 또한, OSCAR은 재순위 지정 기능을 동시에 수행하여 RAG 파이프라인의 효율성을 더욱 높입니다. 실험 결과, 10억240억 파라미터의 LLM에서 추론 속도가 25배 빨라지고 정확도 손실은 거의 없거나 전혀 없는 최첨단 성능을 보였습니다. 모델은 https://huggingface.co/collections/naver/oscar-67d446a8e3a2551f57464295 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
RAG 파이프라인의 계산 비용을 효과적으로 줄이는 새로운 온라인 소프트 압축 방법 OSCAR 제시.
◦
기존 방법들보다 높은 압축률과 추론 속도 향상 달성.
◦
다양한 크기의 LLM에서 정확도 손실 없이 성능 향상 확인.
◦
재순위 지정 기능 통합으로 RAG 파이프라인 효율성 증대.
◦
오픈소스로 공개하여 접근성 향상.
•
한계점:
◦
OSCAR의 성능은 특정 데이터셋과 LLM에 대해 평가되었으므로, 다른 환경에서의 일반화 성능은 추가 연구가 필요함.
◦
압축 과정에서 정보 손실이 발생할 가능성이 있으며, 그 정도를 정량적으로 분석할 필요가 있음.
