Micro-Act: Mitigating Knowledge Conflict in LLM-based RAG via Actionable Self-Reasoning
Created by
Haebom
저자
Nan Huo, Jinyang Li, Bowen Qin, Ge Qu, Xiaolong Li, Xiaodong Li, Chenhao Ma, Reynold Cheng
개요
본 논문은 검색 증강 생성(RAG) 시스템에서 발생하는 지식 충돌 문제를 해결하기 위해, 문맥 복잡성을 자동으로 감지하고 각 지식 소스를 세분화된 비교 시퀀스로 분해하는 계층적 액션 공간을 가진 프레임워크인 Micro-Act를 제안한다. Micro-Act는 세밀한 비교 단계를 통해 표면적인 문맥을 넘어 추론을 가능하게 하며, 다양한 벤치마크 데이터셋에서 기존 SOTA 모델 대비 QA 정확도 향상을 보였다. 특히, temporal 및 semantic conflict 유형에서 뛰어난 성능을 보였으며, 비 충돌 질문에 대해서도 견고한 성능을 유지하여 실제 RAG 응용 프로그램에서의 활용 가능성을 높였다.
시사점, 한계점
•
시사점:
◦
RAG 시스템의 지식 충돌 문제를 해결하기 위한 새로운 프레임워크 제안 (Micro-Act).
◦
계층적 액션 공간을 통해 문맥 복잡성에 적응적인 지식 비교 수행.
◦
다양한 벤치마크 데이터셋에서 SOTA 성능 달성.
◦
특히 temporal 및 semantic conflict 유형에서 우수한 성능.
◦
비 충돌 질문에 대한 견고한 성능 유지로 실제 적용 가능성 증대.
•
한계점:
◦
논문에서 구체적인 프레임워크 구현 세부 사항 및 계산 비용에 대한 정보 부족.
◦
Micro-Act의 일반화 가능성 및 다양한 RAG 시스템에 대한 적용 가능성 추가 연구 필요.
