본 논문은 Chain-of-Thought (CoT) 추론을 효율적으로 수행하기 위한 연구를 제시한다. 대규모 언어 모델(LLM)의 CoT 추론은 문제 해결 능력을 향상시키지만, 자원 제약적인 환경에서의 배포를 어렵게 만드는 추론 오버헤드를 유발한다. 제안된 방법은 적응형 추론 요약 프레임워크를 통해 다양한 규모와 아키텍처의 모델 간 CoT 추론을 효율적으로 이전한다. 이 프레임워크는 의미론적 분할, 중요도 점수 매기기, 예산 인식 동적 압축, 일관성 재구성을 통해 추론 과정을 압축하여 토큰 사용량을 대폭 줄이면서 중요한 추론 단계를 보존한다. 7,501개의 의료 시험 문제에 대한 실험 결과, 동일한 토큰 예산에서 절단 방식보다 최대 40% 더 높은 정확도를 보였다. 8개의 LLM (1.5B-32B 매개변수)의 64개 모델 쌍에 대한 평가를 통해 강력한 교차 모델 이전 가능성을 확인했다. 또한, 가우시안 프로세스 기반 베이지안 최적화 모듈을 통해 평가 비용을 84% 절감하고 모델 크기와 교차 도메인 견고성 간의 멱법칙 관계를 밝혔다.
