Predicting LLM Output Length via Entropy-Guided Representations

Created by

Haebom

저자

Huanyi Xie, Yubin Chen, Liangyu Wang, Lijie Hu, Di Wang

💡 개요

본 논문은 대규모 언어 모델(LLM) 서빙 및 강화학습(RL) 샘플링에서 발생하는 시퀀스 길이의 긴 꼬리 분포로 인한 패딩으로 인한 컴퓨팅 낭비를 해결하고자 합니다. 기존의 보조 모델 기반 예측 방식은 높은 오버헤드와 낮은 일반화 성능, 그리고 확률적 샘플링 시나리오에서의 한계를 가집니다. 이에 본 연구에서는 LLM의 내부 은닉 상태를 재활용하는 효율적인 길이 예측 프레임워크를 제안하며, 이를 통해 기존 방법 대비 뛰어난 정확성과 낮은 비용을 달성했습니다.

🔑 시사점 및 한계

•

LLM 서빙 시 발생하는 패딩으로 인한 컴퓨팅 낭비를 줄여 효율성을 크게 향상시킬 수 있습니다.

•

제안된 EGTP와 PLP 기법은 높은 정확도로 정적 및 동적 길이 예측을 가능하게 하며, 특히 확률적 생성 시나리오에서도 유용합니다.

•

ForeLen 벤치마크 구축은 LLM 길이 예측 분야의 연구 및 평가를 위한 중요한 기반을 마련했습니다.

•

제안된 방법론의 적용 가능 범위를 더욱 넓히고, 다양한 LLM 아키텍처 및 태스크에 대한 일반화 성능을 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage