Chain of Thought (CoT) 추론은 언어 모델의 성능을 향상시키지만, 간단한 문제에 대해 비효율적인 "과도한 사고"를 유발하는 경우가 많습니다. 본 연구는 기존의 추론 길이에 대한 직접적인 패널티 부여 방식이 문제의 복잡성 차이를 고려하지 못한다는 점을 밝힙니다. 본 연구의 접근 방식은 길이와 품질 비교를 통해 보상을 구성하며, 해결책의 정확성과 간결성을 동시에 향상시키는 이론적 가정에 따라 안내됩니다. 또한, 기준 진실이 없는 모호한 작업에도 본 방법을 적용할 수 있음을 보여줍니다. 여러 추론 벤치마크에 대한 실험 결과, 본 방법은 정확도를 유지하면서 훨씬 간결한 설명을 생성하여 모델에게 "필요할 때만 생각하도록" 효과적으로 가르칩니다.
