본 논문은 자원 제약이 있는 에지 디바이스에서 Mamba2와 같은 상태 공간 모델(SSM)의 효율적인 배포를 위한 FPGA 기반 가속기인 FastMamba를 제안합니다. Mamba2의 선형 계층 내 심각한 이상치, 다양하고 불규칙적인 원소별 텐서 연산, 하드웨어에 비친화적인 비선형 함수 등의 문제점을 해결하기 위해, 해당 논문은 하다마르 변환을 통한 8비트 양자화, 하드웨어 친화적인 2의 제곱 양자화 프레임워크, 비선형 함수의 1차 선형 근사 등의 기법을 제시합니다. 병렬 벡터 처리 유닛, 파이프라인 실행 데이터 흐름, 효율적인 SSM 비선형 근사 유닛을 통합한 가속기를 설계하여 계산 효율을 높이고 하드웨어 복잡성을 줄였습니다. Xilinx VC709 FPGA에서의 평가 결과, Mamba2-130M의 입력 전처리 작업에서 Intel Xeon 4210R CPU 대비 68.80배, NVIDIA RTX 3090 GPU 대비 8.90배의 속도 향상을 달성했으며, Mamba2-2.7B의 출력 디코딩 실험에서는 RTX 3090 GPU 대비 6배 높은 에너지 효율을 달성했습니다.
