대형 언어 모델의 증가하는 크기로 인해 발생하는 계산 비효율성을 해결하기 위해, 본 논문은 FFNN 레이어에서 불필요한 파라미터를 선택적으로 비활성화하는 희소 활성화 방법을 제안한다. 기존의 비선형 게이팅 메커니즘에 집중하는 방식에서 벗어나, FFNN 레이어의 희소성이 내부 다운 프로젝션 행렬의 선형 결합 형태로 존재한다는 가설을 세운다. M-COUNTDOWN (간접 계수 활용)과 D-COUNTDOWN (직접 계수 활용) 두 가지 방법을 제안하며, D-COUNTDOWN은 최대 90%의 계산량을 줄이면서 5.5%의 성능 손실을 보이는 것을 실험적으로 확인했다. M-COUNTDOWN은 예측기 없이 기존 방법 대비 최대 29.4% 더 나은 성능 유지를 보여주었다. 특화된 커널 구현을 통해 이론적 이점을 실제 가속으로 구현했다.
