Post-training an LLM for RAG? Train on Self-Generated Demonstrations
Created by
- Haebom
Category
Empty
저자
Matthew Finlayson, Ilia Kulikov, Daniel M. Bikel, Barlas Oguz, Xilun Chen, Aasish Pappu
개요
본 논문은 지식 집약적인 NLP 작업에서 대규모 언어 모델(LLM)의 성능 저하 문제를 해결하기 위해, 검색 증강 생성(RAG) 기법을 개선하는 방법을 제안합니다. 기존 RAG 방법은 검색된 문서를 모델에 추가적으로 제공하는 방식으로, 훈련 데이터의 부족이나 오래된 정보로 인한 문제를 완화하지만, 잘못된 훈련 데이터로 인한 환각(hallucination) 현상이 발생할 수 있습니다. 본 논문에서는 모델이 자체적으로 생성한 데모 데이터를 이용하여 RAG 기반 LLM을 훈련하는 방법을 제시합니다. 이를 통해 분포 외 데이터로 인한 문제를 해결하고, 검색 결과를 LLM 응답에 효과적으로 통합합니다. 지식 집약적인 질의응답 과제에 대한 실험 결과, 제안된 방법이 기존 RAG 방법보다 성능이 우수하며, 일반적인(비 RAG) 설정에서도 성능 저하 없이 동작함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
자체 생성 데모 데이터를 활용한 RAG 기반 LLM 훈련 방법 제시를 통해 기존 RAG 방법의 한계점인 환각 현상 및 성능 저하 문제를 해결
◦
지식 집약적 질의응답 과제에서 기존 방법보다 우수한 성능을 보임
◦
RAG 설정과 비 RAG 설정 모두에서 성능 저하 없이 동작
◦
LLM이 자신이 잘못 답변할 질문에 대해서는 회피하는 것을 학습시킴
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 유형의 지식 집약적 작업에 대한 성능 평가 필요
◦
자체 생성 데모 데이터의 질에 대한 고려 필요
