Search-Based Correction of Reasoning Chains for Language Models
Created by
Haebom
저자
Minsu Kim, Jean-Pierre Falet, Oliver E. Richardson, Xiaoyin Chen, Moksh Jain, Sungjin Ahn, Sungsoo Ahn, Yoshua Bengio
개요
본 논문은 Chain-of-Thought (CoT) 추론의 정확성을 높이기 위한 새로운 자기 수정 프레임워크를 제안합니다. 기존 CoT의 한계점인 추론 과정 중 발생할 수 있는 부정확한 진술을 해결하기 위해, 각 추론 단계에 대한 진실성을 나타내는 잠재 변수를 도입하여 모든 가능한 진실성 할당을 모델링합니다. 효율적인 탐색을 위해, 부울 값 진실성 할당에 대한 이산 탐색 알고리즘인 Search Corrector를 제시합니다. Search Corrector는 LM의 진실성과 최종 답변에 대한 결합 가능도를 보상으로 활용하여 진실성 할당에 대한 사후 분포에서 어려운 추론을 효율적으로 수행합니다. 이를 통해 생성된 의사 레이블을 사용하여 Amortized Corrector를 지도 학습 방식으로 미세 조정합니다. Amortized Corrector는 새로운 문맥에서도 정확한 제로샷 진실성 추론을 가능하게 합니다. 실험 결과, Search Corrector는 ProntoQA(논리 추론) 및 GSM8K(수학 추론) 벤치마크에서 오류를 신뢰할 수 있게 식별하고, Amortized Corrector는 제로샷 정확도를 유지하면서 최종 답변 정확도를 최대 25%까지 향상시킵니다.
시사점, 한계점
•
시사점:
◦
CoT 추론의 정확성을 향상시키는 새로운 자기 수정 프레임워크 제시
◦
Search Corrector를 통해 효율적인 진실성 추론 가능
◦
Amortized Corrector를 통해 제로샷 설정에서도 정확한 진실성 추론 및 성능 향상 달성 (최대 25%)
◦
논리 및 수학 추론 문제에서 성능 향상 확인
•
한계점:
◦
제시된 프레임워크의 일반화 성능에 대한 추가 연구 필요
◦
다양한 유형의 추론 문제에 대한 범용성 검증 필요
◦
Search Corrector의 계산 복잡도에 대한 분석 및 개선 필요
◦
Amortized Corrector의 성능 향상이 모든 경우에 일관되지는 않을 수 있음. 구체적인 조건 분석 필요
