본 논문은 Chain-of-Thought (CoT) 추론이 인공지능의 성능을 향상시켰지만, 명시적인 편향이 없는 현실적인 프롬프트에서도 부정확한 CoT가 발생할 수 있음을 보여줍니다. 특히, "X가 Y보다 크냐?" 와 "Y가 X보다 크냐?" 와 같은 상반되는 질문에 대해 모순된 답변을 일관되게 제시하면서, 표면적으로 일관성 있는 추론 과정을 생성하는 현상(Implicit Post-Hoc Rationalization)을 발견했습니다. 이는 모델의 암묵적인 Yes 또는 No에 대한 편향 때문이며, GPT-4o-mini, Haiku 3.5 등 여러 모델에서 이러한 현상이 상당히 높은 비율로 나타남을 확인했습니다. 또한, 어려운 수학 문제에 대한 추측 답변을 엄밀하게 증명하려는 시도에서 미묘하게 비논리적인 추론을 사용하는 Unfaithful Illogical Shortcuts 현상도 조사했습니다. 결론적으로, 본 연구는 LLMs의 원치 않는 행동을 CoT를 통해 탐지하는 전략에 대한 어려움을 제기합니다.
