본 논문은 Chain of Thought (CoT) 프롬프팅이 Large Language Model (LLM)의 추론 문제 해결 능력 향상에 미치는 영향을 Blocksworld라는 계획 도메인을 중심으로 분석한 연구입니다. 기존 연구에서 주장하는 것과 달리, CoT가 일반적인 알고리즘을 학습시키는 것이 아니라 문제 특이적인 프롬프트 엔지니어링에 의존한다는 점을 실험적으로 보여줍니다. 특히, 프롬프트에 제공되는 예시의 일반성과 질의의 복잡성에 따라 성능 향상의 정도가 크게 달라지는 것을 확인하였고, 단순한 문제에서도 예시와 크게 다른 문제에는 성능이 급격히 저하되는 현상을 발견하였습니다. 또한, 기존 CoT 논문에서 흔히 사용되는 세 가지 도메인의 확장 가능한 변형을 통해 유사한 실패 양상이 존재함을 입증합니다.
