본 논문은 Chain-of-thought (CoT) 프롬프팅이 대규모 언어 및 다중 모달 모델 성능 향상에 널리 사용되지만, 어떤 설정에서 CoT가 성능을 체계적으로 저하시키는지에 대한 의문이 여전히 남아있다는 점을 지적합니다. 인지 심리학에서 영감을 얻어, 인간에게 숙고가 성능을 저해하는 여섯 가지 대표적인 과제를 중심으로 CoT가 성능을 저하시키는 과제의 특징을 파악하고자 합니다. 실험 결과, 세 가지 과제에서 최첨단 모델은 CoT를 사용할 때 상당한 성능 저하(OpenAI o1-preview의 경우 GPT-4o에 비해 최대 36.3%의 절대 정확도 감소)를 보였고, 다른 과제에서는 CoT의 효과가 긍정적, 중립적, 부정적 변화를 보이는 등 혼합된 결과를 나타냈습니다. 모델과 인간의 인지 과정이 완벽하게 평행하지는 않지만, 인간에게 사고가 부정적인 결과를 초래하는 경우를 고려함으로써 모델에 부정적인 영향을 미치는 설정을 식별하는 데 도움이 됩니다. 인간의 언어적 사고와 숙고에 대한 연구 문헌과 CoT 평가를 연결하여 추론 시간 추론의 영향을 이해하기 위한 관점을 제시합니다.
