본 논문은 대규모 신경망의 계산 요구량을 줄이는 네트워크 가지치기 기법 중 N:M 희소성(매 M개의 연속된 가중치 중 N개만 유지)에 초점을 맞추고 있습니다. N:M 희소성은 압축된 모델 품질과 하드웨어 가속 간의 균형을 잘 맞추지만, 전방 패스 계산만 가속화하고 역전파 계산은 가속화하지 못하는 한계가 있습니다. 본 논문에서는 이러한 한계를 극복하기 위해 전치 가능한 N:M 희소 마스크를 효율적으로 생성하는 알고리즘을 제시합니다. 최적 수송 문제로 공식화하여 엔트로피 정규화와 Dykstra 알고리즘을 통해 해결하고, GPU 병렬 처리를 활용한 텐서 기반 구현으로 기존 방법 대비 최대 100배의 속도 향상을 달성했습니다. LLaMA3.2-8B 모델에 적용한 실험 결과, 전치 가능한 16:32 희소성을 적용했을 때 성능 저하가 거의 없고, 기존의 2:4 희소 모델보다 성능이 우수함을 보였습니다.
