본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 적응형 분기 몬테카를로 트리 탐색(AB-MCTS)이라는 새로운 추론 시간 프레임워크를 제안합니다. 기존의 반복적 샘플링 방식은 외부 피드백을 활용하지 못하는 한계가 있는데, AB-MCTS는 코딩과 같은 작업에서 활용 가능한 외부 피드백 신호를 기반으로 후보 응답을 확장하거나 기존 응답을 재검토하는 다중 턴 탐색 및 활용을 통해 이를 극복합니다. 최첨단 모델을 사용한 복잡한 코딩 및 엔지니어링 작업에 대한 실험 결과, AB-MCTS는 반복적 샘플링 및 표준 MCTS보다 성능이 우수함을 보여줍니다. 이는 LLM의 응답 다양성과 다중 턴 솔루션 개선을 결합하는 것이 효과적인 추론 시간 확장에 중요함을 강조합니다.
시사점, 한계점
•
시사점:
◦
LLM의 추론 능력 향상을 위한 새로운 효과적인 방법(AB-MCTS) 제시
◦
외부 피드백 신호를 활용하여 추론 과정을 개선하는 전략의 효용성 입증
◦
반복적 샘플링의 한계를 극복하고 다중 턴 솔루션 개선을 통해 성능 향상 달성
◦
복잡한 코딩 및 엔지니어링 작업에서의 우수한 성능을 실험적으로 검증
•
한계점:
◦
제안된 방법의 일반화 가능성에 대한 추가적인 연구 필요
◦
다양한 종류의 외부 피드백 신호에 대한 적응성 평가 필요
◦
특정 모델 및 작업에 대한 성능 평가 결과이므로 다른 모델 및 작업으로의 일반화 여부 확인 필요
