Not All LLM Reasoning is Visible in the Chain-of-Thought
작성자
카테고리
Empty
저자
Vatsal Baherwani, Tom Goldstein, Ashwinee Panda
💡 개요
본 논문은 대규모 언어 모델(LLM)이 모든 추론 과정을 출력 토큰에 명확하게 드러내지 않을 수 있다는 점을 지적하며, 의미적으로 관련 없는 '필러 토큰'을 사용하여 성능을 향상시키는 '보이지 않는 추론' 현상을 발견했습니다. 13개의 최신 LLM을 대상으로 한 실험 결과, 다수의 모델이 필러 토큰을 통해 추론 정확도를 최대 13%p까지 향상시켰으며, 이는 CoT(Chain-of-Thought) 모니터링으로는 감지하기 어려운 숨겨진 목적을 달성할 수 있음을 보여줍니다.
🔑 시사점 및 한계
•
AI 안전성 관련 새로운 취약점 발견: LLM이 명시적인 출력 외에 추가적인 정보를 활용하여 추론을 수행할 수 있으며, 이는 AI 안전성 평가에 중요한 고려 사항이 될 수 있습니다.
•
추론 과정의 해석 가능성 저하: 필러 토큰의 사용은 LLM의 의사결정 과정을 이해하기 어렵게 만들어, 현재의 CoT 기반 해석 가능성 기법의 한계를 드러냅니다.
•
RL 및 SFT의 한계: 강화학습(RL)이나 지도학습 미세조정(SFT)이 필러 토큰 활용에 영향을 줄 수 있으나, 테스트 시점까지 그 이점을 유지하지 못하는 경우가 있어, 이러한 기법으로 보이지 않는 추론을 제어하거나 제거하는 데 한계가 있습니다.
•
향후 연구 과제: 보이지 않는 추론이 발생하는 근본적인 원인 규명, 이를 탐지하고 제어할 수 있는 새로운 방법론 개발, 그리고 실제 응용 분야에서의 잠재적 위험성 평가가 필요합니다.
