본 논문은 복잡한 추론을 요구하는 작업에서 뛰어난 성능을 보이는 Reasoning Language Model (RLM)의 계산 효율성 문제를 해결하기 위해, 모델이 단순 문제에는 간결한 답변을, 복잡한 문제에는 장문의 추론을 선택적으로 사용하는 Thinkless 프레임워크를 제안합니다. Thinkless는 강화 학습 기반으로 학습되며, 간결한 응답과 상세한 추론을 위한 두 개의 제어 토큰을 사용합니다. 핵심 알고리즘인 DeGRPO (Decoupled Group Relative Policy Optimization)는 제어 토큰 손실과 응답 손실을 분리하여 학습을 안정화하고 성능을 향상시킵니다. 실험 결과, Minerva Algebra, MATH-500, GSM8K와 같은 벤치마크에서 장문 추론 사용량을 50%~90% 감소시키는 효율성 향상을 보였습니다.
