Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SCALE: Selective Resource Allocation for Overcoming Performance Bottlenecks in Mathematical Test-time Scaling

Created by
  • Haebom
Category
Empty

저자

Yang Xiao, Chunpu Xu, Ruifeng Yuan, Jiashuo Wang, Wenjie Li, Pengfei Liu

개요

본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위해 추론 시 추가적인 계산 자원을 할당하는 Test-time compute scaling 방식을 제안한다. 기존의 균일한 자원 할당 방식의 한계를 극복하기 위해, 본 연구에서는 Sub-problem의 난이도에 따라 자원을 선택적으로 할당하는 SCALE(Selective Resource Allocation) 프레임워크를 제안한다. SCALE은 문제 분해, 난이도 평가, 선택적 처리 모드 할당, 순차적 실행 단계를 거쳐, 어려운 sub-problem에 집중하여 자원을 사용함으로써 성능을 향상시키고 계산 비용을 절감한다.

시사점, 한계점

시사점:
Sub-problem의 난이도에 따라 자원을 선택적으로 할당하는 SCALE 프레임워크 제안.
균일한 자원 할당 방식의 한계 극복 및 성능 향상.
AIME25에서 최대 13.75%p의 정확도 향상 및 33%-53%의 계산 비용 절감.
듀얼 프로세스 이론에서 영감을 받아, 복잡한 문제에 집중하고 단순 연산을 효율적으로 처리.
한계점:
구체적인 한계점은 논문 요약에서 명시되지 않음. (예: 난이도 평가 방법의 한계, 특정 문제 유형에 대한 일반화 어려움 등)
👍