AHASD: Asynchronous Heterogeneous Architecture for LLM Adaptive Drafting Speculative Decoding on Mobile Devices

Thu, 30 Apr 2026 08:15:09 GMT

### 저자

Ma Zirui, Fan Zhihua, Li Wenxing, Wu Haibin, Zhang Fulin, Ye Xiaochun, Li Wenming

### 💡 개요

본 논문은 모바일 기기에서 LLM의 추론 효율성을 높이기 위한 **AHASD**라는 비동기 이종 아키텍처를 제안합니다. AHASD는 PIM(Processing-in-Memory)에서 드래프트 생성을 병렬로 수행하고 NPU(Neural Processing Unit)에서 검증을 수행하며, 엔트로피와 시간을 고려한 동적 제어 기법을 통해 불필요한 드래프트 생성을 억제합니다. 이를 통해 GPU 기반의 기존 방식보다 높은 처리량과 에너지 효율성을 달성합니다.

### 🔑 시사점 및 한계

- 모바일 환경에서 LLM의 비동기적이고 이종적인 자원 활용을 통해 추론 효율성을 극대화할 수 있습니다.

- PIM에서의 병렬 드래프트 생성과 NPU에서의 검증 분리, 그리고 동적 제어 기법은 에너지 효율적인 LLM 추론의 새로운 방향을 제시합니다.

- 제안된 아키텍처의 실제 모바일 기기 적용 및 다양한 LLM 모델에서의 성능 검증이 추가적으로 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.25326)