Reasoning Models Struggle to Control their Chains of Thought

Created by

Haebom

저자

Chen Yueh-Han, Robert McCarthy, Bruce W. Lee, He He, Ian Kivlichan, Bowen Baker, Micah Carroll, Tomek Korbak

💡 개요

본 연구는 최신 추론 모델이 사고 과정(Chain-of-Thought, CoT)을 얼마나 잘 제어하는지를 평가하는 CoT-Control 평가 프레임워크를 제안한다. 모델이 CoT 상에서 특정 제약 조건을 따르도록 유도했을 때, 대부분의 모델이 이를 제대로 따르지 못하며, 특히 CoT 제어 능력은 최종 출력 제어 능력에 비해 현저히 낮음을 발견했다. 이는 CoT 모니터링의 신뢰성을 유지하는 데 긍정적인 신호이지만, 낮은 제어 능력의 근본적인 원인은 아직 명확히 규명되지 않았다.

🔑 시사점 및 한계

•

최신 대규모 언어 모델들은 사고 과정(CoT) 상에서 특정 제약을 준수하는 능력이 낮아, CoT 모니터링의 잠재적인 취약점이 크지 않을 수 있다.

•

CoT 제어 능력은 모델 크기에 비례하여 증가하는 경향이 있으며, RL 학습이나 문제 난이도 증가에 따라 감소한다.

•

낮은 CoT 제어 능력의 정확한 메커니즘이 아직 밝혀지지 않았으며, 향후 연구를 통해 이를 이해하고 CoT 모니터링의 신뢰성을 더욱 높일 필요가 있다.

PDF 보기

Made with Slashpage