LiTS: A Modular Framework for LLM Tree Search

Created by

Haebom

저자

Xinzhe Li, Yaguang Tao

💡 개요

본 논문은 LLM 추론을 위한 모듈형 트리 탐색 프레임워크인 LiTS를 제안한다. LiTS는 트리 탐색을 Policy, Transition, RewardModel의 세 가지 재사용 가능한 구성 요소로 분해하여 MCTS, BFS와 같은 알고리즘에 통합한다. 이를 통해 도메인 전문가와 알고리즘 연구자가 각자의 전문성을 활용하여 새로운 도메인 확장 및 맞춤형 탐색 알고리즘 구현을 용이하게 한다. MATH500, Crosswords, MapEval 데이터셋에 대한 실험 결과, 제안된 구성 요소와 알고리즘이 서로 독립적으로 작동함을 입증하여 범용적인 재사용성을 보여준다.

🔑 시사점 및 한계

•

LLM 추론을 위한 모듈화된 트리 탐색 프레임워크는 다양한 도메인과 알고리즘에 대한 확장성과 재사용성을 크게 향상시킬 수 있다.

•

무한한 액션 공간에서 LLM 기반 트리 탐색의 효과는 정책의 다양성에 달려 있으며, 보상 모델의 품질보다 정책 다양성이 병목 현상을 해소하는 데 더 중요하다.

•

향후 연구에서는 더 복잡한 추론 태스크에 대한 프레임워크의 적용 가능성을 탐색하고, LLM 정책의 다양성을 높이기 위한 새로운 방법론을 개발할 필요가 있다.

PDF 보기

Made with Slashpage