추론 강화 대규모 언어 모델(LLM)은 최종 답변을 생성하기 전에 중간 추론 단계를 명시적으로 생성하여 복잡한 문제 해결에 탁월한 성능을 발휘합니다. 본 논문에서는 이러한 새로운 생성 프레임워크가 모델 동작에 대한 보다 세분화된 제어를 위한 독특한 기회를 제공함을 보여줍니다. 본 논문은 전략적으로 특정 사고 토큰을 삽입하거나 수정하여 LLM의 내부 추론 과정을 명시적으로 안내하도록 설계된 새로운 패러다임인 Thinking Intervention을 제안합니다. Thinking Intervention 패러다임은 IFEval의 지시 사항 따르기, SEP의 지시 사항 계층 구조, XSTest 및 SorryBench의 안전 정렬을 포함한 광범위한 작업에서 추론 모델의 기능을 향상시키는 것으로 나타났습니다. 실험 결과, Thinking Intervention은 기준 프롬프트 접근 방식보다 훨씬 우수한 성능을 보이며, 지시 사항 따르기 시나리오에서는 최대 6.7%의 정확도 향상, 지시 사항 계층 구조에 대한 추론에서는 15.4%의 향상, 오픈 소스 DeepSeek R1 모델을 사용한 안전하지 않은 프롬프트에 대한 거부율은 40.0% 증가를 달성했습니다. 전반적으로 본 연구는 추론 LLM을 제어하기 위한 유망한 새로운 연구 분야를 제시합니다.
