AlignRAG: Leveraging Critique Learning for Evidence-Sensitive Retrieval-Augmented Reasoning
Created by
Haebom
저자
Jiaqi Wei, Hao Zhou, Xiang Zhang, Di Zhang, Zijie Qiu, Wei Wei, Jinzhe Li, Wanli Ouyang, Siqi Sun
개요
본 논문은 Retrieval-augmented generation (RAG)에서 발생하는 모델 추론과 검색된 증거 간의 불일치 문제인 Reasoning Misalignment을 해결하기 위해, Critique-Driven Alignment (CDA)에 기반한 새로운 반복적 프레임워크인 AlignRAG를 제안합니다. AlignRAG은 Retrieval-Augmented Critic Language Model (CLM)을 훈련하여 증거와 일치하지 않는 추론 오류를 감지하고 수정하는 메커니즘을 사용합니다. 이 CLM은 자기 생성 피드백에 의존하지 않고 증거 민감도를 높이도록 훈련되며, 기존 RAG 아키텍처에 플러그 앤 플레이 방식으로 통합될 수 있습니다. 실험 결과, 8B 매개변수의 CLM이 기존 방법보다 성능이 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
RAG 시스템의 사실적 신뢰성과 강건성을 크게 향상시키는 원리적인 해결책을 제시합니다.
◦
기존 RAG 아키텍처와의 호환성을 유지하면서 플러그 앤 플레이 방식으로 통합 가능합니다.
◦
Self-Refine 기준 모델 대비 상당한 성능 향상을 보여줍니다. (12.1% 향상)
◦
더 큰 매개변수를 가진 모델보다 성능이 더 뛰어납니다. (72B 매개변수 모델 대비 2.2% 향상)
•
한계점:
◦
제시된 방법의 효과는 특정 데이터셋과 과제에 국한될 수 있습니다.
◦
CLM 훈련에 필요한 라벨링 전략(자기 지도 학습 또는 외부 지도 학습)에 대한 자세한 설명이 부족할 수 있습니다.
