Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Communication-Efficient Multi-Device Inference Acceleration for Transformer Models

Created by
  • Haebom

저자

Xiao Liu, Lijun Zhang, Deepak Ganesan, Hui Guan

개요

Transformer 모델의 높은 추론 지연 시간 문제를 해결하기 위해, 제한된 대역폭 환경에서도 효율적인 다중 장치 추론 프레임워크인 ASTRA를 제안합니다. ASTRA는 시퀀스 병렬 처리와 혼합 정밀도 어텐션 메커니즘을 통합하여 장치 간 통신을 최소화합니다. 벡터 양자화를 통해 비국소 토큰 임베딩을 압축하고, 노이즈 증강 양자화 및 분산 클래스 토큰을 통해 정확도를 유지합니다. 실험 결과, ViT와 GPT2를 사용한 이미지 및 자연어 처리 작업에서 단일 장치 추론 대비 최대 2.64배, 최첨단 다중 장치 추론 대비 최대 15.25배의 속도 향상을 달성했으며, 10Mbps의 낮은 대역폭에서도 작동합니다. 소스 코드는 https://github.com/xl1990/Astra 에서 공개됩니다.

시사점, 한계점

•
시사점:
◦
제한된 대역폭 환경에서도 효율적인 Transformer 모델의 다중 장치 추론을 가능하게 함.
◦
기존 방법 대비 상당한 속도 향상 (최대 15.25배)을 달성.
◦
벡터 양자화와 노이즈 증강 양자화, 분산 클래스 토큰을 통해 정확도 저하 없이 속도 향상을 달성.
◦
오픈소스로 공개되어 접근성이 높음.
•
한계점:
◦
특정 하드웨어 환경이나 네트워크 구성에 대한 최적화 수준이 명시적으로 언급되지 않음.
◦
다양한 모델 및 작업에 대한 일반화 성능에 대한 추가적인 연구가 필요할 수 있음.
◦
10Mbps 이하의 극도로 낮은 대역폭 환경에서의 성능은 추가적인 평가가 필요함.
👍
Made with Slashpage