본 논문은 대규모 언어 모델(LLM)의 계산 노력을 문제의 난이도에 맞게 조정하는 적응형 추론 프레임워크인 DART(Difficulty-Adaptive Reasoning Truncation)를 제안합니다. DART는 더 강력한 모델로부터 간결한 추론 패턴을 추출하고 이를 다양한 추론 스타일로 보간하며, 정확성과 간결함의 균형을 맞춘 최적의 학습 데이터를 구성하여 '생각을 멈춰야 할 때'를 학습합니다. 실험 결과, DART는 여러 수학적 벤치마크에서 정확도를 유지하거나 향상시키면서 효율성을 크게 개선하여, GSM8K 데이터셋에서 DeepSeek-R1-Distill-Qwen-7B 모델의 경우 81.2%의 추론 절단 및 5.33배의 계산 속도 향상을 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 추론 효율성을 획기적으로 향상시킴.
◦
문제 난이도에 따라 추론 길이를 조절하는 적응형 추론 방식을 제시.
◦
감독 학습 기반의 안정적인 학습 프레임워크 구축.
◦
계산 효율성 향상과 정확도 유지/향상의 균형 달성.
•
한계점:
◦
특정 수학적 벤치마크에 대한 실험 결과에 국한됨.
◦
다른 종류의 문제나 데이터셋에 대한 일반화 성능 검증 필요.
◦
강력한 모델로부터의 간결한 추론 패턴 추출 및 보간 과정의 구체적인 방법론에 대한 추가 설명 필요.
