Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching
Created by
- Haebom
Category
Empty
저자
Simon A. Aytes, Jinheon Baek, Sung Ju Hwang
개요
본 논문은 대규모 언어 모델의 추론 능력 향상을 위한 새로운 프롬프팅 프레임워크인 Sketch-of-Thought(SoT)를 제안합니다. SoT는 기존 Chain of Thought(CoT) 프롬프팅의 과도한 토큰 사용 문제를 해결하기 위해 인지과학적 추론 패러다임과 언어적 제약 조건을 결합합니다. 세 가지 인지과학적 추론 패러다임(Conceptual Chaining, Chunked Symbolism, Expert Lexicons)을 경량 라우팅 모델을 통해 동적으로 선택하여 사용하며, 15개의 다양한 언어 및 모달리티를 포함한 추론 데이터셋에서 평가한 결과, 토큰 사용량을 76% 감소시키면서 정확도는 거의 유지하거나, 수학 및 다단계 추론과 같은 특정 영역에서는 정확도를 향상시켰음을 보여줍니다. 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델의 추론 과정에서 발생하는 과도한 토큰 사용 문제를 효과적으로 해결하는 새로운 프롬프팅 방법을 제시합니다.
◦
인지과학적 추론 패러다임을 활용하여 다양한 유형의 추론 문제에 적용 가능한 유연한 프레임워크를 제공합니다.
◦
토큰 사용량 감소를 통해 계산 비용을 절감하고, 특정 영역에서는 정확도 향상까지 달성합니다.
◦
다양한 언어와 모달리티를 지원하는 범용적인 프레임워크입니다.
•
한계점:
◦
제시된 세 가지 추론 패러다임 외 다른 패러다임에 대한 적용 가능성 및 일반화 성능에 대한 추가 연구가 필요합니다.
◦
경량 라우팅 모델의 성능 향상 및 최적화에 대한 추가 연구가 필요할 수 있습니다.
◦
특정 데이터셋에 대한 성능이 우수하지만, 모든 유형의 추론 문제에 대해 동일한 수준의 성능을 보장할 수는 없습니다.
