Chain-of-Thought Tokens are Computer Program Variables
Created by
Haebom
저자
Fangwei Zhu, Peiyi Wang, Zhifang Sui
개요
본 논문은 Chain-of-thoughts (CoT)가 복잡한 추론 과제 해결에 효과적임을 보여주는 기존 연구를 바탕으로, CoT의 내부 메커니즘을 실험적으로 연구합니다. 다자리 곱셈과 동적 계획법이라는 두 가지 구성 과제를 통해 CoT 토큰의 역할을 분석합니다. 연구 결과, CoT에서 중간 결과를 저장하는 토큰만 유지해도 비슷한 성능을 달성할 수 있으며, 중간 결과를 다른 잠재 형태로 저장하는 것도 성능에 영향을 미치지 않는다는 것을 발견했습니다. 또한, CoT의 일부 값을 무작위로 변경하면 후속 토큰과 최종 답변이 함께 변화하는 것을 확인했습니다. 이러한 결과는 CoT 토큰이 컴퓨터 프로그램의 변수처럼 기능하지만, 의도치 않은 지름길과 토큰 간의 계산 복잡도 한계와 같은 잠재적인 단점이 있음을 시사합니다. 코드와 데이터는 https://github.com/solitaryzero/CoTs_are_Variables 에서 확인할 수 있습니다.
시사점: CoT 토큰이 컴퓨터 프로그램의 변수와 유사하게 기능하며 중간 결과 저장에 주된 역할을 한다는 것을 실험적으로 밝혔습니다. 중간 결과 저장 방식의 변화가 성능에 영향을 미치지 않는다는 점은 CoT의 유연성을 시사합니다.
•
한계점: CoT의 의도치 않은 지름길 사용 및 토큰 간 계산 복잡도 한계 등의 잠재적 단점을 제시했으나, 이러한 단점을 극복하기 위한 구체적인 방안은 제시하지 않았습니다. 다자리 곱셈과 동적 계획법 두 가지 과제에 국한된 연구 결과이므로, 다른 유형의 문제에 대한 일반화 가능성은 추가 연구가 필요합니다.
