ARise: Towards Knowledge-Augmented Reasoning via Risk-Adaptive Search
Created by
Haebom
저자
Yize Zhang, Tianshu Wang, Sirui Chen, Kun Wang, Xingyu Zeng, Hongyu Lin, Xianpei Han, Le Sun, Chaochao Lu
개요
대규모 언어 모델(LLM)의 추론 능력 향상을 위해 테스트 시점 연산 확장에 대한 관심이 높아지고 있지만, 개방적이고 지식 집약적인 복잡한 추론 시나리오에는 여전히 한계가 있습니다. 기존 추론 지향적 방법들은 완전한 세계 지식이라는 암묵적 가정으로 인해 개방형 시나리오로의 일반화에 어려움을 겪고 있으며, 지식 증강 추론(KAR) 방법들은 1) 초기 단계의 오류가 연쇄적으로 발생하는 오류 전파 문제와 2) 다중 분기 의사 결정 과정에서 탐색-활용 간의 절충이 발생하는 검증 병목 현상이라는 두 가지 핵심적인 과제를 해결하지 못합니다. 본 논문에서는 이러한 한계를 극복하기 위해, 몬테카를로 트리 탐색 패러다임 내에서 중간 추론 상태의 위험 평가를 동적 검색 증강 생성(RAG)과 통합한 새로운 프레임워크인 ARise를 제시합니다. 이 접근 방식을 통해 여러 유지 가설 분기에서 추론 계획을 효과적으로 구성하고 최적화할 수 있습니다. 실험 결과, ARise는 최첨단 KAR 방법보다 최대 23.10%, 최신 RAG 기반 대규모 추론 모델보다 최대 25.37%까지 성능이 크게 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
몬테카를로 트리 탐색과 동적 RAG 통합을 통해 복잡한 추론 문제에서의 성능 향상 가능성을 제시.
