본 논문은 대규모 언어 모델(LLM)의 추론 지연 시간 문제를 해결하기 위해 자기 회귀적 디코딩 방식의 병렬 처리 가능성에 초점을 맞춘 연구입니다. 자기 회귀 모델의 출력에서 병렬 처리 가능한 구조(intrinsic parallelism)를 발견하고, 이를 활용하여 병렬 디코딩을 수행하는 적응형 직렬-병렬 디코딩(ASPD) 기법을 제안합니다. ASPD는 병렬 처리 가능한 데이터 구조를 자동으로 추출하고 검증하는 파이프라인과 직렬 및 병렬 디코딩 모드 간의 원활한 전환을 가능하게 하는 하이브리드 디코딩 엔진으로 구성됩니다. 다양한 작업(일반 작업, 검색 증강 생성, 수학적 추론)에 대한 실험 결과, ASPD는 효율성과 효과성 측면에서 기존 방식보다 뛰어난 성능을 보였으며, Vicuna Bench에서 평균 1.85배(최대 3.19배)의 속도 향상을 달성하면서 응답 품질 저하를 1% 이내로 유지했습니다.
