본 논문은 대규모 추론 모델(LRM)의 다단계 추론 성능 향상이 과도하게 긴 추론 체인 생성으로 이어지는 문제를 정보이론적 관점에서 재검토합니다. 추론 길이와 의미적 효율성 사이의 근본적인 상충관계를 밝히고, 이상적인 추론 경로와의 차이(InfoBias)와 단계별 정보 기여도(InfoGain)를 정량화하는 두 가지 지표를 제안합니다. 실험 결과, 긴 추론 체인은 특히 잘못된 답변에서 정보 편향이 높고 정보 증가량이 감소하는 경향을 보임을 확인했습니다. 이러한 결과를 바탕으로, 확신도가 충분히 높아지면 추론을 동적으로 중단하는 엔트로피 기반 적응적 사고 전략(Adaptive Think)을 제시합니다. Vanilla Think 방식과 비교하여, 제안된 전략은 QwQ-32B 모델에서 6가지 벤치마크 작업에 걸쳐 평균 정확도 1.10% 향상과 토큰 사용량 50.80% 감소를 달성하여 우수한 효율성과 추론 성능을 입증했습니다. 이는 엔트로피 기반 방법이 대규모 언어 모델 배포의 정확도와 비용 효율성을 모두 향상시킬 수 있음을 보여줍니다.
