본 논문은 에너지 소모량이 많은 대규모 언어 모델(LLM)의 문제점을 해결하기 위해 Intel의 뉴로모픽 프로세서 Loihi 2에 적합한 MatMul-free LLM 아키텍처를 제시합니다. Loihi 2의 저정밀 이벤트 기반 연산 및 상태 유지 처리 기능을 활용하여, GPU에서 하드웨어 인식 양자화 모델을 통해 3억 7천만 개의 매개변수를 가진 MatMul-free 모델을 정확도 손실 없이 양자화하는 것을 보여줍니다. 초기 결과에 따르면, 에지 GPU에서 트랜스포머 기반 LLM에 비해 최대 3배 높은 처리량과 2배 적은 에너지 소모를 달성하며, 더 나은 확장성을 보입니다. 추가적인 하드웨어 최적화를 통해 처리량을 높이고 에너지 소비를 줄일 수 있을 것으로 예상되며, 이는 뉴로모픽 하드웨어가 효율적인 추론에 잠재력을 가지고 있음을 보여주고, 복잡하고 긴 형식의 텍스트를 빠르고 비용 효율적으로 생성할 수 있는 효율적인 추론 모델의 길을 열어줍니다.
