[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Accelerating Chain-of-Thought Reasoning: When Goal-Gradient Importance Meets Dynamic Skipping

Created by
  • Haebom

저자

Ren Zhuang, Ben Wang, Shuifa Sun

개요

본 논문은 대규모 언어 모델의 사고 과정(CoT) 프롬프팅에서 발생하는 과도한 계산 비용 및 지연 문제를 해결하기 위해 적응형 GoGI-Skip 프레임워크를 제안한다. 기존 CoT 압축 기법의 한계인 일반적인 중요도 지표와 고정된 압축률을 극복하고자, 목표-경사도 중요도(GoGI) 지표와 적응형 동적 건너뛰기(ADS) 메커니즘을 제시한다. GoGI는 중간 표현의 최종 답변 손실에 대한 기울기 영향을 측정하여 기능적으로 관련된 토큰을 정확하게 식별하고, ADS는 런타임 모델의 불확실성에 따라 압축률을 동적으로 조절하며, 적응형 N-토큰 제약을 통해 국소적 일관성을 유지한다. MATH 데이터셋으로 학습된 Adaptive GoGI-Skip은 AIME, GPQA, GSM8K 등 다양한 추론 벤치마크에서 우수한 도메인 일반화 성능을 보이며, 평균 45% 이상의 CoT 토큰 수 감소와 1.6~2.0배의 추론 속도 향상을 달성하면서 높은 추론 정확도를 유지한다. 특히 높은 압축률에서도 정확도를 유지하며 기존 기법들을 능가하는 성능을 보인다.

시사점, 한계점

시사점:
목표 지향적이고 기울기 기반의 중요도 지표와 동적이고 불확실성을 고려하는 건너뛰기 메커니즘을 결합한 최초의 연구.
CoT 추론의 효율성-정확도 절충에서 최첨단 성능 달성.
다양한 추론 벤치마크에서 우수한 성능과 일반화 성능을 입증.
실질적인 추론 속도 향상 및 토큰 수 감소를 통한 계산 비용 절감.
한계점:
MATH 데이터셋으로 학습되었으므로, 다른 데이터셋으로의 일반화 성능에 대한 추가적인 연구가 필요.
적응형 N-토큰 제약의 최적 값 설정에 대한 추가적인 연구가 필요.
GoGI 지표의 계산 비용이 높을 수 있으며, 이에 대한 최적화 연구가 필요할 수 있음.
👍