When Chain-of-Thought Fails, the Solution Hides in the Hidden States
작성자
카테고리
Empty
저자
Houman Mehrafarin, Amit Parekh, Ioannis Konstas
💡 개요
본 연구는 연쇄 사고(Chain-of-Thought, CoT) 프롬프팅에서 생성된 중간 추론 토큰에 실제로 문제 해결에 유용한 정보가 포함되어 있는지 메커니즘적 인과 분석을 통해 탐구합니다. 활성화 패칭 기법을 사용하여 CoT 토큰의 내부 표현을 직접 답변 생성 시 활용했을 때, 원래 CoT 추론 과정이 틀렸더라도 정확도가 크게 향상됨을 보여줍니다. 이는 개별 CoT 토큰이 정답을 복구할 수 있는 충분한 정보량을 담고 있으며, 특히 언어적 토큰이 추론 방향을 효과적으로 제시함을 시사합니다.
🔑 시사점 및 한계
•
연쇄 사고(CoT)의 중간 생성 토큰들은 단순히 설명적인 것을 넘어, 문제 해결에 직접적으로 기여하는 정보(task-relevant information)를 담고 있습니다.
•
CoT 추론 과정 자체가 틀렸더라도, CoT 토큰의 내부 상태 정보를 활용하면 오히려 정확도가 향상될 수 있으며, 이는 완전한 추론 과정이 항상 필요한 것은 아님을 의미합니다.
•
언어적 토큰(동사, 개체명 등)은 올바른 추론을 유도하는 데 중요한 역할을 하며, 수학적 토큰은 정답과 관련된 정보는 담고 있지만 추론 성공에는 덜 기여하는 것으로 나타났습니다.
•
CoT의 내부 표현이 어떻게 문제 해결 능력을 인코딩하고, 언제 추론 과정에서 오류가 발생하는지에 대한 새로운 통찰을 제공하지만, 활성화 패칭 방법론의 일반화 가능성 및 다양한 모델 아키텍처에 대한 실험 확대가 필요합니다.