Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Efficient Partitioning Vision Transformer on Edge Devices for Distributed Inference

Created by
  • Haebom

저자

Xiang Liu, Yijun Song, Xia Li, Yifei Sun, Huiying Lan, Zemin Liu, Linshan Jiang, Jialin Li

개요

본 논문은 자원 제약이 있는 에지 디바이스에서 실시간 데이터 분석을 위해 딥러닝 모델, 특히 비전 트랜스포머(Vision Transformer, ViT)를 효율적으로 배포하는 새로운 프레임워크인 ED-ViT를 제안합니다. ED-ViT는 ViT 모델을 여러 에지 디바이스에 분할하여 실행하는데, 각 디바이스는 특정 데이터 클래스의 하위 집합을 처리하도록 설계되었습니다. 또한 클래스별 가지치기 기법을 도입하여 각 하위 모델의 크기를 줄이고 계산 오버헤드 및 추론 지연 시간을 추가적으로 감소시킵니다. 다양한 데이터셋과 모델 아키텍처를 사용한 실험을 통해 ED-ViT가 추론 지연 시간을 크게 줄이고 모델 크기를 최대 28.9배 및 34.1배까지 감소시키면서 원본 ViT와 비슷한 테스트 정확도를 유지함을 보여줍니다. CNN 및 SNN 모델을 에지 디바이스에 배포하는 최첨단 방법과의 비교 실험을 통해 ED-ViT의 효과를 입증합니다.

시사점, 한계점

시사점:
자원 제약이 있는 에지 디바이스에서 비전 트랜스포머 모델의 효율적인 배포를 위한 새로운 프레임워크 ED-ViT 제시.
모델 분할 및 클래스별 가지치기를 통해 추론 지연 시간 및 모델 크기 감소.
기존 ViT와 비교하여 유사한 정확도 유지.
CNN 및 SNN 기반 방법 대비 경쟁력 있는 성능.
한계점:
제안된 ED-ViT 프레임워크의 에지 디바이스 간 통신 오버헤드에 대한 분석 부족.
다양한 에지 디바이스 환경에 대한 일반화 성능 검증 필요.
특정 데이터 클래스에 대한 과적합 가능성.
클래스별 가지치기 기법의 최적화 파라미터 설정에 대한 추가 연구 필요.
👍