ReAgent: Reversible Multi-Agent Reasoning for Knowledge-Enhanced Multi-Hop QA
Created by
Haebom
Category
Empty
저자
Zhao Xinjie, Fan Gao, Rui Yang, Yingjian Chen, Yuyang Wang, Ying Zhu, Jiacheng Tang, Irene Li
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 다단계 질의응답(QA)에서 사고연쇄(CoT) 추론의 비가역적인 특성으로 인한 오류 누적 문제를 해결하기 위해, 명시적인 백트래킹 메커니즘을 갖춘 가역적 다에이전트 협업 프레임워크인 ReAgent를 제안합니다. ReAgent는 텍스트 기반 검색, 정보 집계 및 검증을 통합하여 추론 중간에 오류를 감지하고 수정함으로써 더욱 강력하고 해석 가능한 QA 결과를 제공합니다. 세 가지 벤치마크에 대한 실험적 평가를 통해 기준 모델에 비해 평균 약 6%의 성능 향상을 보이며, 오류 허용 QA 시스템에 대한 향후 연구의 기반을 마련합니다.
시사점, 한계점
•
시사점:
◦
다단계 추론 과정에서 발생하는 오류를 효과적으로 감지하고 수정하는 새로운 프레임워크 ReAgent 제시.
◦
가역적 추론을 통해 더욱 강건하고 해석 가능한 QA 결과 도출 가능성 제시.
◦
텍스트 기반 검색, 정보 집계 및 검증을 통합하여 QA 성능 향상.
◦
기존 CoT 방식의 한계점을 극복하고 오류 허용 QA 시스템 연구에 기여.
•
한계점:
◦
평균 6%의 성능 향상은 상대적으로 작은 개선으로 볼 수 있음.
◦
제안된 프레임워크의 확장성 및 다양한 질문 유형에 대한 일반화 성능에 대한 추가 연구 필요.
