DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs
Created by
Haebom
저자
Arie Cattan, Alon Jacovi, Ori Ram, Jonathan Herzig, Roee Aharoni, Sasha Goldshtein, Eran Ofek, Idan Szpektor, Avi Caciularu
개요
본 논문은 검색 증강 생성(RAG)에서 대규모 언어 모델(LLM)이 정보의 상충을 다루는 방법을 연구합니다. 먼저 RAG 상황에서 발생하는 지식 충돌 유형에 대한 새로운 분류 체계와 각 유형에 대한 모델의 바람직한 동작을 제시합니다. 그리고 현실적인 RAG 설정에서 전문가가 지식 충돌 유형을 주석한 고품질 벤치마크인 CONFLICTS를 소개합니다. CONFLICTS는 다양한 지식 충돌을 해결하는 모델의 진전을 추적할 수 있는 최초의 벤치마크입니다. 실험 결과, LLM은 정보 출처 간의 충돌을 적절히 해결하는 데 어려움을 겪는다는 것을 보여주며, 출처 간의 잠재적 충돌에 대해 명시적으로 추론하도록 LLM을 유도하면 응답의 품질과 적절성이 크게 향상되지만, 여전히 개선의 여지가 있음을 밝힙니다.
시사점, 한계점
•
시사점:
◦
RAG에서 발생하는 다양한 지식 충돌 유형에 대한 체계적인 분류 제공.
◦
현실적인 RAG 설정을 반영한 고품질 벤치마크 CONFLICTS 제시.
◦
LLM의 지식 충돌 해결 능력 평가 및 개선 방향 제시.
◦
명시적인 충돌 추론 프롬프팅을 통한 성능 향상 가능성 확인.
•
한계점:
◦
CONFLICTS 벤치마크가 아직 초기 단계이며, 더욱 다양하고 복잡한 충돌 유형을 포함할 필요가 있음.
