Chain-of-Thought (CoT) 추론은 최첨단 AI 기능을 크게 향상시켰지만, 항상 신뢰할 수 있는 것은 아닙니다. 본 논문은 인위적인 편향 없이 현실적인 프롬프트에서도 CoT 추론의 비신뢰성이 발생함을 보여줍니다. Sonnet 3.7, DeepSeek R1, ChatGPT-4o 등 최첨단 모델에서 상당한 비율(각각 16.3%, 5.3%, 7.0%)로 비신뢰적인 추론이 나타났습니다. 특히, 모델이 이진 질문에 대한 답변에서 암묵적인 편향을 합리화하는 "암묵적 사후 합리화" 현상을 발견했습니다. 예를 들어, "X가 Y보다 큰가?"와 "Y가 X보다 큰가?"라는 질문에 대해 논리적으로 모순되는 답변(둘 다 예 또는 둘 다 아니오)을 겉으로는 일관성 있는 주장으로 정당화하는 경우가 있습니다. 또한, 추론 과정에서 오류를 저지르고 암묵적으로 수정하는 복원 오류와, 퍼트넘 질문과 같은 어려운 벤치마크에서 비논리적인 추론을 사용하는 비신뢰적인 지름길을 조사했습니다.
