LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models

작성자

Haebom

카테고리

Empty

저자

Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

💡 개요

대규모 언어 모델은 추론 능력이 향상될수록 불필요하게 긴 추론 과정을 생성하여 컴퓨팅 자원 낭비를 초래합니다. 기존의 길이 기반 효율성 보상은 학습 과정 중 최적의 정확도-효율성 균형이 변동하고 문제별 추론 예산이 달라지는 근본적인 문제에 직면해 있습니다. 본 논문은 이러한 한계를 극복하기 위해 온라인, 자가 적응 메커니즘을 도입하는 LEAD(Length-Efficient Adaptive and Dynamic reasoning)를 제안합니다. LEAD는 잠재력 스케일링 불안정성을 이용하여 각 단계별 정확도-효율성 절충점을 동적으로 조정하고, 모델 자체의 올바른 추론 결과를 바탕으로 문제별 목표 길이를 온라인으로 추정하여 과도한 생각과 과도한 압축을 모두 페널티하는 대칭적 효율성 보상을 적용합니다.

🔑 시사점 및 한계

•

동적이고 적응적인 효율성 제어: 학습 과정 중 변화하는 정확도-효율성 균형과 문제별 추론 예산을 실시간으로 파악하여 최적의 절충점을 동적으로 찾아냅니다.

•

정확도 및 효율성 동시 달성: 제안된 방법론은 기존의 효율적인 추론 기법에 비해 높은 정확도와 효율성 점수를 달성하며, 원본 모델 대비 현저히 짧은 길이의 추론 결과를 생성합니다.

•

최적 목표 길이 추정의 어려움: 모델이 자체적으로 추론 결과를 생성하면서도 정확도를 유지하기 위한 최적의 목표 길이를 온라인으로 추정하는 것은 여전히 복잡한 문제입니다.

PDF 보기

Made with Slashpage