AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning
Created by
Haebom
저자
Jiaqi Wei, Hao Zhou, Xiang Zhang, Di Zhang, Zijie Qiu, Wei Wei, Jinzhe Li, Wanli Ouyang, Siqi Sun
개요
본 논문은 지식 기반 대규모 언어 모델(LLM)을 가능하게 하는 널리 채택된 패러다임인 검색 증강 생성(RAG)에 대해 다룹니다. 기존 RAG 파이프라인은 모델 추론이 검색된 증거와 일관되게 유지되도록 보장하지 못해 사실적 불일치나 근거 없는 결론으로 이어지는 경우가 많습니다. 이에 본 논문은 RAG를 검색 증강 추론으로 재해석하고, 중심적이지만 충분히 탐구되지 않은 문제인 "추론 불일치" (LLM의 내부 추론 경로와 검색에서 제공되는 증거 제약 간의 차이)를 제시합니다. 이 문제를 해결하기 위해, 비판 기반 정렬(CDA)에 기반한 새로운 반복적 프레임워크인 AlignRAG를 제안합니다. AlignRAG의 핵심은 자기 편향을 완화하는 동시에 검색에 민감한 비판을 생성하는 대조적 비판 합성 메커니즘입니다. 이 메커니즘은 증거 정렬된 추론과 정렬되지 않은 추론을 구분하는 레이블이 지정된 비판을 사용하여 전용 검색 증강 비평가 언어 모델(CLM)을 훈련합니다. 감독을 위한 정렬 신호는 자기 감독 또는 외부적으로 안내된 레이블링 전략을 통해 얻습니다. 결과적으로 생성된 CLM은 증거 민감도에 대해 명시적으로 최적화되어 자체 생성 피드백에만 의존하지 않고 추론 중 추론 오류를 감지하고 수정할 수 있습니다. 실험적 평가는 8B 매개변수 CLM이 도메인 외 작업에서 Self-Refine 기준선보다 12.1% 성능이 향상되었고, 표준 72B 매개변수 CLM보다 2.2% 우수함을 보여주며, 기존 RAG 아키텍처와 플러그 앤 플레이 모듈로 호환됨을 보여줍니다. 전반적으로 AlignRAG는 모델 추론을 검색된 증거와 정렬하기 위한 원칙적인 솔루션을 제공하여 RAG 시스템의 사실적 신뢰성과 강력성을 크게 향상시킵니다.
시사점, 한계점
•
시사점:
◦
RAG 시스템의 사실적 신뢰성 및 강건성을 향상시키는 새로운 프레임워크 AlignRAG 제시.
◦
검색에 민감한 비판을 생성하는 대조적 비판 합성 메커니즘을 통해 추론 불일치 문제 해결.
◦
8B 매개변수 CLM이 기존 대규모 모델보다 우수한 성능을 보임.
◦
기존 RAG 아키텍처와의 호환성을 통해 쉽게 적용 가능.
•
한계점:
◦
제안된 방법의 효과는 특정 데이터셋과 작업에 대한 실험 결과에 기반하며, 다른 설정에서의 일반화 성능은 추가 연구가 필요.
◦
외부적으로 안내된 레이블링 전략에 대한 의존도가 높을 수 있으며, 레이블링 비용 및 품질에 영향을 받을 수 있음.
