Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models
Created by
Haebom
저자
Rui Wang, Hongru Wang, Boyang Xue, Jianhui Pang, Shudong Liu, Yi Chen, Jiahao Qiu, Derek Fai Wong, Heng Ji, Kam-Fai Wong
개요
본 논문은 대규모 언어 모델(LLM)의 추론 경제성(reasoning economy)에 대한 종합적인 분석을 제공합니다. LLM은 시스템 1(빠르고 직관적인 사고)에서 시스템 2(느리고 심층적인 추론)로 발전하여 복잡한 추론 작업 수행 능력이 향상되었지만, 시스템 2는 계산 비용이 많이 들고 비효율적인 추론 행동을 보입니다. 반면 시스템 1은 계산 효율성이 높지만 성능이 저하됩니다. 따라서 성능과 계산 비용 간의 균형, 즉 추론 경제성을 확보하는 것이 중요합니다. 본 논문에서는 LLM의 사후 훈련 및 테스트 시간 추론 단계에서 추론 비효율성의 원인, 다양한 추론 패턴의 행동 분석, 추론 경제성을 달성하기 위한 잠재적 해결책을 포괄적으로 분석하고, 향후 연구를 위한 방향을 제시하며 지속적인 개발을 추적하는 공개 저장소를 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 추론 경제성에 대한 포괄적인 분석을 제공하여 연구 방향을 제시합니다.
◦
추론 비효율성의 원인, 다양한 추론 패턴, 그리고 해결책을 제시하여 LLM 성능 향상에 기여합니다.
◦
지속적인 개발을 추적하는 공개 저장소를 제공하여 연구자들에게 유용한 정보를 제공합니다.
•
한계점:
◦
본 논문은 아직 초기 연구 단계의 설문 조사이므로, 추론 경제성에 대한 모든 측면을 완벽하게 다루지는 못할 수 있습니다.
◦
제시된 해결책들의 실제 효과는 추가적인 연구를 통해 검증되어야 합니다.
◦
빠르게 발전하는 LLM 분야의 특성상, 논문 발표 이후 새로운 연구 결과들이 등장하여 논문의 내용이 빠르게 구식이 될 가능성이 있습니다.
