Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Created by
Haebom
저자
Zhenni Bi, Kai Han, Chuanjian Liu, Yehui Tang, Yunhe Wang
개요
본 논문은 대규모 언어 모델(LLM)의 복잡한 추론 문제 해결 능력 향상을 위한 새로운 추론 프레임워크인 Forest-of-Thought (FoT)를 제안합니다. 기존의 Chain-of-Thought (CoT)나 Tree-of-Thought (ToT)와 달리, FoT는 여러 개의 추론 트리를 통합하여 집단 의사결정을 통해 문제를 해결합니다. 희소 활성화 전략을 사용하여 관련성이 높은 추론 경로를 선택하여 효율성과 정확성을 향상시키고, 동적 자기 수정 전략과 합의 기반 의사결정 전략을 통해 실시간 오류 수정 및 계산 자원 최적화를 실현합니다. 실험 결과, FoT 프레임워크는 LLM의 추론 능력을 크게 향상시켜 복잡한 문제를 더욱 정확하고 효율적으로 해결할 수 있음을 보여줍니다. 소스 코드는 https://github.com/iamhankai/Forest-of-Thought 에서 제공될 예정입니다.
