DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS
Created by
Haebom
저자
Yingxu Wang, Shiqi Fan, Mengzhu Wang, Siyang Gao, Chao Wang, Nan Yin
Dynamically Adaptive MCTS-based Reasoning (DAMR)
개요
본 논문은 지식 그래프 질의 응답(KGQA)을 위한 새로운 프레임워크인 Dynamically Adaptive MCTS-based Reasoning (DAMR)을 제안합니다. DAMR은 LLM 기반 몬테카를로 트리 탐색(MCTS)과 적응형 경로 평가를 통합하여 효율적이고 상황 인지적인 KGQA를 가능하게 합니다. DAMR은 MCTS를 기반으로 LLM 기반 플래너가 각 확장 단계에서 상위 k개의 의미적으로 관련된 관계를 선택하여 검색 공간을 효과적으로 줄입니다. 또한, 경량 Transformer 기반 스코어를 도입하여 질문과 관계 시퀀스를 교차 주의를 통해 공동으로 인코딩하여 다중 홉 추론 중 미세한 의미 변화를 포착함으로써 평가 정확도를 향상시킵니다. 또한, 고품질 감독 부족을 완화하기 위해 DAMR은 검색 중에 탐색된 부분 경로에서 주기적으로 훈련 신호를 생성하는 동적 유사 경로 정제 메커니즘을 통합하여 스코어가 진화하는 추론 궤적 분포에 지속적으로 적응할 수 있도록 합니다. 여러 KGQA 벤치마크에 대한 광범위한 실험 결과 DAMR이 SOTA 방법을 크게 능가함을 보여줍니다.
