본 논문은 에지 디바이스 상에서 대규모 언어 모델(LLM)을 배포하기 위한 QLoRA 가속기인 ROMA를 제안합니다. ROMA는 양자화된 기본 모델을 ROM에 저장하고, LoRA 가중치와 KV 캐시를 SRAM에 저장하는 하이브리드 저장 아키텍처를 사용합니다. 양자화된 기본 모델의 안정성을 고려하여 ROM에 저장하고, LoRA 모듈은 새로운 데이터에 대한 적응성을 제공합니다. 또한, ROM 면적 비용을 줄이기 위해 새로운 B-ROM 설계를 도입하고 컴퓨팅 유닛과 통합하여 효율적인 칩 자원 사용을 가능하게 합니다. ROMA는 4-bit 3B 및 2-bit 8B LLaMA 모델을 온칩으로 저장하고 20,000 토큰/초를 넘는 생성 속도를 달성합니다.
