본 논문은 Chain-of-Thought (CoT) 프롬프팅의 성능이 다양한 추론 작업에서 다르게 나타나는 현상을 심층적으로 분석합니다. 기존 연구들은 CoT를 평가하려는 시도를 했지만, CoT에 영향을 미치는 패턴에 대한 심층 분석은 부족했습니다. 본 연구는 CoT 성능을 효과성과 신뢰성 측면에서 연구합니다. 효과성 측면에서는 문제의 난이도, 정보 획득량, 정보 흐름 등 CoT의 성능 향상에 영향을 미치는 주요 요인을 확인합니다. 신뢰성 측면에서는 질문, CoT, 답변 간의 정보 상호작용을 공동 분석하여 비신뢰성 CoT 문제를 해석합니다. LLM이 답변을 예측할 때, CoT에 누락된 정답 정보를 질문에서 상기시켜 문제가 발생한다는 것을 보여줍니다. 마지막으로, 질문에서 추가 정보를 상기시켜 CoT 생성을 향상시키고 정보 획득량을 기반으로 CoT를 평가하는 새로운 알고리즘을 제안합니다. 광범위한 실험을 통해 제안된 접근 방식이 CoT의 신뢰성과 효과성을 모두 향상시킨다는 것을 보여줍니다.
