Sign In

Say Less, Mean More: Leveraging Pragmatics in Retrieval-Augmented Generation

Created by
  • Haebom
Category
Empty

저자

Haris Riaz, Ellen Riloff, Mihai Surdeanu

개요

본 논문은 검색 증강 생성(RAG) 프레임워크에서 실용적 원리를 주입하는 단순한 비지도 학습 방식을 제안합니다. Dense Passage Retrieval을 사용하는 RAG 시스템에서 질문과 관련된 가장 중요한 문장들을 식별하여 해당 문장들을 강조 표시함으로써, LLM에 제공되는 맥락의 유용성을 향상시킵니다. 문맥을 자르거나 변경하지 않고, 질문의 모든 주제를 다루는 문장만을 선택적으로 강조하는 것이 핵심입니다. ARC-Challenge, PubHealth, PopQA 세 가지 질문 응답 과제에서 다섯 가지 다른 LLM을 사용한 실험을 통해 기존 RAG 시스템에 비해 상당한 성능 향상(PubHealth 최대 19.7%, ARC-Challenge 최대 10%)을 보였습니다.

시사점, 한계점

시사점:
RAG 시스템의 성능을 향상시키는 단순하고 효과적인 비지도 학습 방법 제시.
문맥 선택 및 강조를 통해 LLM의 성능 개선.
다양한 질문 응답 과제와 LLM에서의 성능 향상 확인.
한계점:
제안된 방법의 일반화 성능에 대한 추가 연구 필요.
특정 질문 유형이나 LLM에 대한 의존성 평가 필요.
더욱 복잡한 질문이나 다양한 데이터셋에 대한 실험 필요.
👍