본 논문은 다양한 런타임 제약 조건(지연 시간, 정확도 등)을 가진 온디바이스 대규모 언어 모델(LLM) 쿼리를 효과적으로 처리하는 방법을 제시한다. Multi-scale quantization을 통해 메모리 효율적인 런타임 모델 적응을 가능하게 하며, 특히 각 레이어의 민감도가 디코딩 단계에 따라 동적으로 변화한다는 관찰을 바탕으로 DP-LLM을 제안한다. DP-LLM은 입력 값에 따라 각 레이어에 동적으로 정밀도를 할당하는 새로운 메커니즘으로, 기존 방법보다 뛰어난 성능-지연 시간 균형을 달성한다.
