본 논문은 에너지 소모량이 많은 대규모 언어 모델(LLM)의 문제점을 해결하기 위해 Intel의 뉴로모픽 프로세서 Loihi 2에 적합한 MatMul-free LLM 아키텍처를 제시합니다. Loihi 2의 저정밀 이벤트 기반 연산 및 상태 유지 처리 기능을 활용하여, GPU에서 하드웨어 인식 양자화 모델을 통해 3억 7천만 개의 매개변수를 가진 MatMul-free 모델을 정확도 손실 없이 양자화하는 데 성공했습니다. 엣지 GPU 상의 Transformer 기반 LLM과 비교하여 최대 3배 높은 처리량과 2배 적은 에너지 소모를 달성했으며, 향후 하드웨어 최적화를 통해 처리량 증가 및 에너지 소모 감소를 더욱 기대할 수 있습니다. 이는 뉴로모픽 하드웨어를 활용한 효율적인 추론의 가능성을 보여주며, 복잡하고 긴 형태의 텍스트를 빠르고 비용 효율적으로 생성할 수 있는 효율적인 추론 모델의 길을 열었습니다.
