Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Wider or Deeper? Scaling LLM Inference-Time Compute with Adaptive Branching Tree Search

Created by
  • Haebom

저자

Yuichi Inoue, Kou Misaki, Yuki Imajuku, So Kuroki, Taishi Nakamura, Takuya Akiba

개요

본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해 추론 시간 계산을 늘리는 최근 연구를 바탕으로, 반복적 샘플링의 한계를 극복하는 새로운 추론 시간 프레임워크인 적응적 분기 몬테 카를로 트리 탐색(AB-MCTS)을 제안합니다. AB-MCTS는 외부 피드백 신호를 기반으로 새로운 후보 응답을 확장할지(넓게 가기) 아니면 기존 응답을 재검토할지(깊게 가기) 동적으로 결정하여 반복적 샘플링보다 효율적인 다회차 탐색 및 활용을 가능하게 합니다. 복잡한 코딩 및 엔지니어링 작업에 대한 실험 결과, AB-MCTS는 반복적 샘플링과 표준 MCTS를 모두 능가하며, LLM의 응답 다양성과 다회차 솔루션 개선을 결합하는 것이 효과적인 추론 시간 확장에 중요함을 보여줍니다.

시사점, 한계점

시사점:
LLM의 추론 능력 향상을 위한 새로운 방법인 AB-MCTS 제시.
외부 피드백 신호를 활용하여 반복적 샘플링의 효율성을 개선.
다회차 솔루션 개선을 통한 LLM의 응답 다양성 활용의 중요성 강조.
복잡한 코딩 및 엔지니어링 작업에서 기존 방법 대비 성능 향상 확인.
한계점:
AB-MCTS의 효과는 사용된 외부 피드백 신호의 질에 의존적일 수 있음.
특정 유형의 작업(코딩 및 엔지니어링)에 대한 평가 결과이므로 일반화 가능성에 대한 추가 연구 필요.
계산 비용 증가 가능성. AB-MCTS가 반복 샘플링보다 더 많은 계산을 필요로 할 수 있음.
👍