본 논문은 대규모 언어 모델의 고급 추론에서 나타나는 계산 복잡도 문제를 해결하기 위해 InftyThink라는 새로운 패러다임을 제시합니다. 기존의 장문맥 추론 방식은 계산 복잡도가 입력 길이에 따라 제곱적으로 증가하고, 최대 문맥 길이에 제약을 받으며, 사전 훈련 문맥 창을 벗어나면 성능이 저하되는 한계를 가지고 있습니다. InftyThink는 장문 추론을 중간 요약을 포함하는 반복적인 과정으로 변환하여 이러한 문제를 해결합니다. 짧은 추론 단위와 간결한 진행 요약을 번갈아 처리함으로써 제한된 계산 비용으로 무제한적인 추론 깊이를 가능하게 합니다. 이는 특징적인 톱니 모양의 메모리 패턴을 만들어 기존 방식에 비해 계산 복잡도를 크게 줄입니다. 또한, 기존의 장문맥 추론 데이터셋을 반복적인 형식으로 변환하는 방법론을 개발하여 OpenR1-Math 데이터셋을 33만 개의 훈련 인스턴스로 변환했습니다. 다양한 모델 아키텍처에 대한 실험 결과, InftyThink는 계산 비용을 줄이면서 성능을 향상시키는 것을 보여주었으며, Qwen2.5-Math-7B 모델에서 MATH500, AIME24, GPQA_diamond 벤치마크에서 3~13%의 성능 향상을 달성했습니다. 본 연구는 추론 깊이와 계산 효율성 사이의 상충 관계에 대한 기존의 가정에 도전하며, 아키텍처 변경 없이 복잡한 추론을 위한 더욱 확장 가능한 접근 방식을 제공합니다.
