Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models
Created by
- Haebom
Category
Empty
저자
Mingda Li, Xinyu Li, Yifan Chen, Wenfeng Xuan, Weinan Zhang
개요
본 논문은 Retrieval-Augmented Large Language Models (RALMs)의 성능 불일치 현상에 대해 연구합니다. RALMs는 사실성 측면에서 우수하지만, 항상 retrieval-free Language Models (LMs)보다 성능이 뛰어나지는 않습니다. 이러한 불일치는 RALMs 내부의 degeneration 현상 때문이며, 본 논문에서는 이를 네 가지 범주로 분류하고 분석합니다. 분석 결과, 지식 소스의 차이와 reader model의 예측 불가능한 오류가 성능 불일치의 주요 원인임을 밝힙니다. 이를 해결하기 위해, 본 논문은 다양한 지식 소스에서 적응적으로 정보를 검색하고 reader 오류를 줄이는 Ensemble of Retrievers (EoR) 프레임워크를 제안합니다. Open Domain Question Answering 실험을 통해 EoR이 기존 RALMs보다 성능이 훨씬 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
RALMs의 성능 불일치 현상에 대한 심층적인 이해를 제공합니다.
◦
RALMs 성능 향상을 위한 새로운 프레임워크인 EoR을 제시합니다.
◦
EoR을 통해 Open Domain Question Answering에서 성능 개선을 달성합니다.
◦
지식 소스의 차이와 reader model의 오류가 RALM 성능에 미치는 영향을 규명합니다.
•
한계점:
◦
EoR의 효과는 Open Domain Question Answering에 국한되어 다른 task에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
degeneration 현상의 네 가지 범주 분류가 모든 경우를 포괄하는지에 대한 추가 검증이 필요합니다.
◦
EoR의 학습 과정 및 계산 비용에 대한 자세한 분석이 부족합니다.
