본 논문은 사고 과정(Chain-of-thought, CoT) 프롬프팅을 통한 대규모 언어 모델(LLM)의 추론 능력 향상 효과를 정량적으로 메타 분석한 연구입니다. 100편 이상의 기존 연구와 14개 모델에 대한 20개 데이터셋의 자체 평가를 통해, CoT가 수학이나 논리 관련 과제에서 주로 큰 성능 향상을 가져오지만, 다른 유형의 과제에서는 효과가 미미함을 밝혔습니다. 특히 MMLU 벤치마크에서 CoT는 등호(=)가 포함된 경우에만 유의미한 성능 향상을 보였으며, 이는 기호 연산 및 추론 작업에 CoT의 효과가 집중됨을 시사합니다. CoT의 계획 및 실행 단계를 분리 분석하고 도구 기반 LLM과 비교한 결과, CoT의 성능 향상은 주로 기호 실행 개선에서 기인하지만, 전용 기호 해결기에는 미치지 못하는 것으로 나타났습니다. 결론적으로, CoT는 선택적으로 적용하여 성능 저하 없이 추론 비용을 절감할 수 있으며, LLM 응용 전반에 걸쳐 중간 연산을 더 잘 활용하는 새로운 패러다임으로의 전환이 필요함을 제시합니다.
