Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching

Created by
  • Haebom

저자

Simon A. Aytes, Jinheon Baek, Sung Ju Hwang

개요

대규모 언어 모델(LLM)의 최근 발전으로 사고 과정(CoT) 프롬프팅을 통해 강력한 추론 능력이 가능해졌지만, 중간 출력에서 과도한 상세 설명으로 인해 계산 오버헤드가 증가하는 문제가 있습니다. 본 논문에서는 인지적으로 영감을 받은 추론 패러다임과 언어적 제약 조건을 통합하여 토큰 사용량을 줄이면서 추론 정확도를 유지하는 프롬프팅 프레임워크인 Sketch-of-Thought(SoT)를 제안합니다. SoT는 유연하고 모듈식 접근 방식으로 설계되었으며, 개념적 연결, 청크 기호주의, 전문가 어휘라는 세 가지 패러다임을 통해 구현됩니다. 각 패러다임은 서로 다른 추론 작업에 맞게 조정되며, 경량 라우팅 모델에 의해 테스트 시점에 동적으로 선택됩니다. 여러 도메인, 언어 및 모드를 아우르는 15개의 추론 데이터 세트에서 SoT는 정확도 손실을 최소화하면서 최대 78%의 토큰 감소를 달성합니다. 수학적 추론 및 다단계 추론과 같은 작업에서는 출력을 단축하면서 정확도를 향상시키기도 합니다.

시사점, 한계점

시사점:
CoT 프롬프팅의 과도한 상세 설명 문제를 해결하는 새로운 프롬프팅 프레임워크인 SoT 제안
토큰 사용량을 최대 78%까지 줄이면서 추론 정확도를 유지하거나 향상
다양한 추론 작업과 데이터 세트에 적용 가능한 유연하고 모듈식 접근 방식
경량 라우팅 모델을 통해 효율적인 패러다임 선택 가능
한계점:
제안된 세 가지 패러다임 외 다른 추론 패러다임에 대한 적용성 연구 필요
라우팅 모델의 성능에 대한 추가적인 분석 필요
특정 작업이나 데이터 세트에 대한 일반화 성능 평가 필요
👍