본 논문은 대규모 언어 모델의 고급 추론에서 나타나는 계산 복잡도 문제를 해결하기 위해 InftyThink라는 새로운 패러다임을 제시합니다. 기존의 장문맥 추론 방식은 계산 복잡도가 입력 길이에 따라 제곱으로 증가하고, 최대 문맥 길이에 제한을 받으며, 사전 학습 문맥 창을 넘어서면 성능이 저하되는 한계를 가지고 있습니다. InftyThink는 장문 추론 과정을 중간 요약을 포함하는 반복적인 과정으로 변환하여 이러한 문제를 해결합니다. 짧은 추론 구간과 간결한 진행 요약을 번갈아 처리함으로써, 제한된 계산 비용을 유지하면서 무한한 추론 깊이를 가능하게 합니다. 이는 전통적인 방식에 비해 계산 복잡도를 크게 줄이는 특징적인 톱니 모양의 메모리 패턴을 생성합니다. 또한, 기존의 장문맥 추론 데이터셋을 반복적인 형식으로 변환하는 방법론을 개발하여 OpenR1-Math 데이터셋을 33만 개의 훈련 인스턴스로 변환했습니다. 다양한 모델 아키텍처에 대한 실험 결과, 제안된 방법은 계산 비용을 줄이면서 MATH500, AIME24, GPQA_diamond 벤치마크에서 Qwen2.5-Math-7B 모델의 성능을 3~13% 향상시키는 것으로 나타났습니다. 본 연구는 추론 깊이와 계산 효율성 사이의 상충 관계에 대한 기존의 가정에 도전하며, 아키텍처 수정 없이 복잡한 추론에 대한 더욱 확장 가능한 접근 방식을 제공합니다.
