Sign In

SEAL: Steerable Reasoning Calibration of Large Language Models for Free

Created by
  • Haebom
Category
Empty

저자

Runjin Chen, Zhenyu Zhang, Junyuan Hong, Souvik Kundu, Zhangyang Wang

개요

대규모 언어 모델(LLM)의 CoT(chain-of-thought) 추론 과정에서 발생하는 중복성을 해결하기 위해, 추론 구조를 실행, 반성, 전환의 세 가지 유형으로 분류하고, 실패 사례와 관련된 과도한 반성 및 전환 사고를 분석합니다. 이를 바탕으로, SEAL(Steerable reasoning calibration)이라는 학습 없는 접근 방식을 제안합니다. SEAL은 잠재 공간에서 추론 조향 벡터를 추출하는 오프라인 단계와, 조향 벡터를 사용하여 추론 과정을 실시간으로 보정하는 단계를 포함합니다. SEAL은 여러 모델과 벤치마크에서 정확도를 최대 11% 향상시키면서 추론 토큰 수를 11.8%에서 50.4%까지 줄이는 효과를 보였습니다.

시사점, 한계점

시사점:
LLM의 CoT 추론 과정에서 중복성을 분석하고, 이를 개선하기 위한 새로운 방법론 제시.
학습 과정 없이 모델의 정확도와 효율성을 모두 향상시킴.
다양한 모델과 벤치마크에서 효과를 입증.
추론 조향 벡터의 전이 가능성을 확인.
한계점:
논문에서 구체적인 한계점에 대한 언급 없음.
👍