Chain-of-Thought (CoT) 프롬프팅은 대규모 언어 모델(LLM)이 단계별 추론을 통해 복잡한 문제를 해결하도록 돕습니다. 그러나 CoT는 과도한 표현으로 인해 지연 시간과 메모리 사용량이 증가하고, 초기 오류가 긴 체인 전체에 전파될 수 있습니다. 본 논문에서는 잠재 추론의 효율성과 명시적 CoT의 투명성을 결합하는 것을 목표로 하는 Reasoning Capsule (R-Capsule) 프레임워크를 제안합니다. 핵심 아이디어는 높은 수준의 계획을 학습된 잠재 토큰의 작은 집합(Reasoning Capsule)으로 압축하는 동시에 실행 단계를 가볍거나 명시적으로 유지하는 것입니다. 이 하이브리드 접근 방식은 Information Bottleneck (IB) 원리에서 영감을 받아, 캡슐이 최소화되면서도 작업에 충분하도록 장려합니다. 효율성을 향상시키기 위해 낮은 용량의 병목 현상을 통해 최소화가 장려됩니다. 답변 정확도를 위한 기본 작업 손실과 원래 텍스트 계획을 충실하게 나타내도록 캡슐을 장려하는 보조 계획 재구성 손실이라는 이중 목표를 통해 충분성이 장려됩니다. 재구성 목표는 잠재 공간을 접지하여 해석 가능성을 개선하고 비정보성 지름길 사용을 줄이는 데 도움이 됩니다. 이 프레임워크는 효율성, 정확성 및 해석 가능성 사이의 균형을 유지하여 복잡한 벤치마크에서 정확도를 유지하거나 향상시키면서 추론의 가시적인 토큰 발자국을 줄입니다.
