본 논문은 대규모 언어 모델(LLM) 추론 가속화를 위한 기존의 사전 해독(SD) 방법들의 한계를 극복하는 새로운 방법인 Beagle을 제시합니다. 기존의 최첨단 SD 방법들은 셀프 어텐션 기반의 트랜스포머 디코더에 의존하며, 복잡하고 일반화하기 어렵다는 단점이 있습니다. Beagle은 크로스 어텐션 기반의 트랜스포머 디코더를 사용하여 풀링이나 보조 구성 요소 없이도 기존 최고 성능의 셀프 어텐션 기반 SD 모델(EAGLE-v2)과 동등한 성능을 달성합니다. 또한, 새로운 Two-Stage Block-Attention Training 방법을 제안하여 블록 수준 어텐션 시나리오에서 훈련 안정성과 효율성을 향상시켰습니다. 다양한 LLM과 데이터셋에 대한 실험 결과, Beagle은 EAGLE-v2보다 경쟁력 있는 추론 속도 향상과 더 높은 훈련 효율을 달성함을 보여줍니다.
