본 논문은 대규모 언어 모델의 추론 비용을 줄이기 위한 동적 심층 프루닝 알고리즘인 PuDDing(Prompt-routed Dynamic Depth Pruning)을 제안합니다. 기존의 정적 심층 프루닝은 트랜스포머 블록의 중요도를 단일하게 평가하여 일부 블록을 제거하지만, 본 논문은 블록의 중요도가 작업에 따라 다를 수 있다는 점을 발견했습니다. PuDDing은 입력 프롬프트에 따라 제거할 블록을 동적으로 결정하는 경량 라우터를 학습하여, 작업별 최적의 블록 집합을 선택합니다. 데이터 기반으로 최적의 블록 제거 옵션 집합을 생성하고, 이를 바탕으로 라우터를 훈련합니다. 상식 추론 벤치마크 실험 결과, PuDDing은 정적 심층 프루닝 기법보다 우수한 성능과 추론 속도 향상을 달성했습니다.
