Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Chopping Trees: Semantic Similarity Based Dynamic Pruning for Tree-of-Thought Reasoning

Created by
  • Haebom
Category
Empty

저자

Joongho Kim, Xirui Huang, Zarreen Reza, Gabriel Grand, Kevin Zhu, Ryan Lagasse

Semantic Similarity-Based Dynamic Pruning (SSDP)

개요

SSDP는 대규모 언어 모델(LLM)의 문제 해결 능력을 향상시키는 Tree-of-Thought (ToT) 추론의 계산 비용 문제를 해결하기 위해 고안되었습니다. SSDP는 실시간으로 중복 단계를 클러스터링하고 가지치기하는 온라인 의미 병합을 병렬 트리 검색에 통합하는 최초의 프레임워크입니다. 이를 통해 SSDP는 경쟁력 있는 정확도를 유지하면서 최첨단 트리 검색 기반보다 최대 2.3배 빠른 속도를 달성하고, 탐색된 노드 수를 85-90% 줄여 효율적이고 확장 가능한 LLM 추론에 대한 실용적인 접근 방식을 제시합니다.

시사점, 한계점

•
시사점:
◦
LLM의 ToT 추론 속도와 효율성을 크게 향상시킴.
◦
경쟁력 있는 정확도를 유지하면서 계산 비용을 절감.
◦
실시간 의미 병합을 통해 중복된 추론 경로를 제거.
◦
GSM8K 및 MATH500과 같은 벤치마크에서 우수한 성능을 입증.
◦
오픈 소스 구현을 통해 접근성을 높임.
•
한계점:
◦
가장 강력한 baseline에 비해 약간의 정확도 감소(최대 5%).
◦
(논문 내용에 명시되지 않음) - 다른 복잡한 문제 유형에 대한 성능 평가 필요.
◦
(논문 내용에 명시되지 않음) - SSDP의 일반화 가능성에 대한 추가 연구 필요.
👍
Made with Slashpage