이 연구는 추론 언어 모델이 복잡한 작업에서 성능을 향상시키기 위해 사용하는 긴 사고 사슬(CoT)이 적대적 환경에서 유해한 출력을 증가시킬 수 있다는 문제에 주목한다. 본 연구는 이러한 긴 CoT가 예측적 안전 모니터링에 활용될 수 있는지, 즉, 추론 과정이 적절한 개입을 가능하게 할 수 있는 최종 응답의 정렬에 대한 조기 신호를 제공하는지 질문한다. 연구진은 CoT 텍스트 또는 활성화를 사용하여 다양한 모니터링 방법을 평가하였으며, 여기에는 고성능 대규모 언어 모델, 미세 조정된 분류기 및 인간이 포함되었다. 특히, CoT 활성화에 대해 훈련된 간단한 선형 프로브가 안전/안전하지 않은 최종 응답을 예측하는 데 있어 텍스트 기반 기준선을 크게 능가하며, F1 점수에서 평균 13의 절대적 증가를 보였다. 모델 잠재 변수가 텍스트 기반의 CoT보다 더 신뢰할 수 있는 예측 신호를 제공한다는 것을 확인했다. 또한, 이 프로브는 응답이 생성되기 전에 초기 CoT 세그먼트에 적용될 수 있어, 정렬 신호가 추론 완료 전에 나타난다는 것을 보여주었다. 오류 분석 결과, 텍스트 분류기와 선형 프로브 간의 성능 차이는 CoT가 진행됨에 따라 추론이 최종 응답과 일관되게 모순되는 "수행적 CoT"라고 하는 응답의 하위 집합에서 주로 발생했다. 본 연구 결과는 모델 크기, 종류 및 안전 벤치마크 전반에 걸쳐 일반화되며, 경량 프로브가 생성 중에 실시간 안전 모니터링 및 조기 개입을 가능하게 할 수 있음을 시사한다.
