Accelerating Vision Transformers on Brain Processing Unit

Created by

Haebom

저자

Jinchi Tang, Yan Guo

💡 개요

본 연구는 Brain Processing Unit(BPU)이라는 신경망 처리 하드웨어에서 Vision Transformer(ViT)의 연산을 효율적으로 가속화하는 방법을 제안합니다. CNN에 최적화된 BPU의 특성과 ViT의 3차원 데이터 연산 간의 불일치 문제를 해결하기 위해, ViT의 선형 레이어와 레이어 정규화 연산을 컨볼루션 연산으로 재구성하는 방식을 사용했습니다. 이를 통해 재학습 없이 BPU의 가속 능력을 최대한 활용하여 ViT 모델의 추론 속도를 높일 수 있었습니다.

🔑 시사점 및 한계

•

CNN 가속에 특화된 BPU 하드웨어에서 ViT 모델의 성능을 효율적으로 끌어낼 수 있는 새로운 가능성을 제시합니다.

•

기존 ViT 모델의 가중치를 그대로 활용하면서도 하드웨어 가속을 통해 추론 속도를 크게 향상시킬 수 있음을 입증했습니다.

•

재학습 또는 미세 조정 없이도 정확도를 크게 손상시키지 않으면서 속도를 높일 수 있지만, 정확도 소폭 저하가 불가피하며, 다른 종류의 특수 하드웨어에 대한 적용 가능성 및 최적화는 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage