본 논문은 비전 트랜스포머(ViT)의 추론 지연 시간에 있어 어텐션 레이어보다 피드포워드 네트워크(FFN) 레이어가 더 큰 영향을 미친다는 것을 밝힙니다. 특히, 모델 크기가 커짐에 따라 FFN 레이어의 영향이 더욱 커집니다. 이를 해결하기 위해, 논문에서는 추론 시 효율적인 FFN 레이어를 위한 사후 훈련 구조적 재매개변수화를 가능하게 하는 새로운 채널 유휴 메커니즘을 제안합니다. 각 FFN 레이어에서 일부 특징 채널을 유휴 상태로 두어 비선형 활성화 함수를 우회함으로써 선형 경로를 형성하고, 추론 중 구조적 재매개변수화를 가능하게 합니다. 이 메커니즘을 통해 개발된 ReParameterizable Vision Transformers (RePaViTs)는 다양한 ViT에서 현저한 지연 시간 감소를 달성하며, 정확도는 수용 가능한 수준으로 감소하거나 심지어 향상됩니다. 특히, RePa-ViT-Large와 RePa-ViT-Huge는 동일한 훈련 전략 하에서 각각 66.8%와 68.7%의 속도 향상과 +1.7%와 +1.1%의 상위 1위 정확도 향상을 보였습니다. 본 연구는 FFN 레이어에 구조적 재매개변수화를 적용하여 ViT를 가속화한 최초의 연구이며, 효율적인 ViT를 위한 유망한 방향을 제시합니다.
