Sign In

Say Less, Mean More: Leveraging Pragmatics in Retrieval-Augmented Generation

Created by
  • Haebom
Category
Empty

저자

Haris Riaz, Ellen Riloff, Mihai Surdeanu

개요

본 논문은 Retrieval-Augmented Generation (RAG) 프레임워크에서 검색된 컨텍스트의 유용성을 높이기 위해 실용적인 원칙을 주입하는 단순한 비지도 학습 방법을 제안합니다. Dense Passage Retrieval과 같은 RAG 시스템에서 질문과 관련된 가장 중요한 문장들을 식별하고, 입력 질문에서 다루는 모든 주제를 포함하면서 불필요한 정보는 제외하여 해당 문장들을 강조 표시합니다. 컨텍스트의 다른 부분은 수정하지 않고 LLM에 제공합니다. 세 가지 질문 응답 작업(ARC-Challenge, PubHealth, PopQA)과 다섯 가지 다른 LLM을 사용한 실험에서 기존 RAG 시스템에 비해 일관된 성능 향상을 보였으며, 특히 PubHealth에서는 최대 19.7%, ARC-Challenge에서는 10%의 상대 정확도 향상을 달성했습니다.

시사점, 한계점

시사점:
RAG 시스템의 성능을 향상시키는 단순하고 효과적인 비지도 학습 방법 제시.
다양한 질문 응답 작업과 LLM에서 일관된 성능 향상을 보임.
검색된 컨텍스트의 유용성을 높여 질문 응답 정확도를 개선.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
다양한 유형의 질문과 컨텍스트에 대한 로버스트성 평가 필요.
특정 질문 유형이나 도메인에 편향될 가능성 존재.
👍