본 논문은 대규모 추론 모델의 과도한 토큰 생성 문제를 해결하기 위해 길이 적응형 정책 최적화(LAPO) 프레임워크를 제시합니다. LAPO는 추론 길이 제어를 외부 제약 조건이 아닌 모델의 내재적 능력으로 전환하는 이중 단계 강화 학습 과정을 사용합니다. 1단계에서는 성공적인 해결책 길이의 통계적 분포를 발견하여 자연스러운 추론 패턴을 학습하고, 2단계에서는 이 패턴을 메타인지적 안내로 활용하여 모델의 추론 맥락에 직접 통합하여 추론 시간의 유연성을 확보합니다. 수학적 추론 벤치마크 실험 결과, LAPO는 토큰 사용량을 최대 40.9% 줄이고 정확도를 2.3% 향상시켰습니다. 분석 결과, LAPO로 훈련된 모델은 문제 복잡도에 따라 계산 자원을 할당하는 능력을 갖게 되어 품질 저하 없이 효율적인 추론을 달성합니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델의 효율성을 크게 향상시킬 수 있는 새로운 프레임워크 제시.
◦
문제 복잡도에 따라 계산 자원을 동적으로 할당하는 메타인지적 추론 능력 부여.
◦
토큰 사용량 감소 및 정확도 향상이라는 실질적인 성능 개선.
•
한계점:
◦
LAPO 프레임워크의 효과는 수학적 추론 벤치마크에 국한되어 다른 유형의 문제에 대한 일반화 가능성은 추가 연구 필요.
