InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models
Created by
- Haebom
Category
Empty
저자
Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Mengdi Zhang, Jian Shao, Yueting Zhuang
개요
본 논문은 대규모 언어 모델의 고급 추론에서 나타나는 계산 복잡도 문제를 해결하기 위해 InftyThink라는 새로운 패러다임을 제시합니다. 기존의 장문맥 추론 방식은 계산 복잡도가 시퀀스 길이에 따라 제곱으로 증가하고, 최대 맥락 경계에 의해 추론이 제한되며, 사전 훈련 맥락 창을 벗어나면 성능이 저하되는 한계를 가지고 있습니다. InftyThink는 단일 추론 과정을 중간 요약을 포함하는 반복적인 과정으로 변환하여 이러한 문제를 해결합니다. 짧은 추론 구간과 간결한 진행 요약을 번갈아 처리함으로써 제한된 계산 비용을 유지하면서 무제한적인 추론 깊이를 가능하게 합니다. 이를 통해 기존 방식에 비해 계산 복잡도를 크게 줄이는 특징적인 톱니 모양의 메모리 패턴을 생성합니다. 또한, 기존의 장문맥 추론 데이터셋을 반복적인 형식으로 변환하는 방법론을 개발하여 OpenR1-Math를 33만 개의 훈련 인스턴스로 변환했습니다. 다양한 모델 아키텍처에 대한 실험 결과, 제안된 방법이 계산 비용을 줄이면서 성능을 향상시키는 것을 보여줍니다. 특히 Qwen2.5-Math-7B 모델에서 MATH500, AIME24, GPQA_diamond 벤치마크에서 3~13%의 성능 향상을 달성했습니다. 본 연구는 추론 깊이와 계산 효율성 간의 상충 관계에 대한 기존의 가정에 도전하며, 아키텍처 수정 없이 복잡한 추론에 대한 더욱 확장 가능한 접근 방식을 제공합니다.
시사점, 한계점
•
시사점:
◦
장문맥 추론의 계산 복잡도 문제를 효과적으로 해결하는 새로운 패러다임(InftyThink) 제시
◦
중간 요약을 통한 반복적 추론으로 무제한적인 추론 깊이 달성
◦
기존 방식 대비 계산 비용 감소 및 성능 향상 확인 (Qwen2.5-Math-7B 모델 기준 3~13% 향상)
◦
아키텍처 수정 없이 확장 가능한 추론 접근 방식 제공
◦
OpenR1-Math 데이터셋을 InftyThink에 적합한 형태로 변환하는 방법론 제시
•
한계점:
◦
InftyThink의 일반적인 적용 가능성 및 다양한 유형의 추론 문제에 대한 성능 평가 추가 필요
◦
중간 요약 과정의 최적화 및 요약 전략에 대한 추가 연구 필요
◦
특정 모델(Qwen2.5-Math-7B)에 대한 성능 평가 결과가 주를 이루므로, 다른 모델에서의 일반화 가능성에 대한 추가 연구 필요
