대규모 언어 모델(LLM)은 Chain-of-Thought(CoT)와 같은 전략을 사용하여 주목할 만한 추론 능력을 보여주었습니다. 하지만 이러한 접근 방식은 내부 가중치 역학을 고려하지 않고 토큰 수준의 출력에만 집중합니다. 본 논문에서는 추론 경로를 식별하기 위해 추론 전에 신경망 가중치를 조사하는 새로운 접근 방식인 Weight-of-Thought(WoT) 추론을 소개합니다. 기존 방법과 달리 WoT는 그래프 기반 메시지 전달, 다단계 추론 과정 및 주의 메커니즘을 통해 가중치 공간을 탐색합니다. 본 논문의 구현은 추론 노드의 상호 연결된 그래프를 생성합니다. 다양한 추론 작업(삼단 논법, 수학적, 대수적, 조합적 및 기하학적)에 대한 실험은 WoT가 특히 복잡한 문제에 대해 기존 방법보다 우수한 성능을 달성함을 보여줍니다. 이러한 접근 방식은 성능 향상과 추론 과정의 해석력 향상으로 이어져 LLM 추론 기능을 향상시키는 유망한 방향을 제시합니다.
