본 논문은 연합 학습(FL) 환경에서 자원 제약이 있는 에지 디바이스에서 효율적인 비전 트랜스포머(ViT) 모델을 사용하는 것에 초점을 맞추고 있습니다. 기존 ViT 모델의 큰 크기와 높은 연산량 요구사항으로 인해 에지 디바이스에서의 배포가 어렵다는 점을 지적하며, 이를 해결하기 위해 OnDev-LCT라는 경량화된 합성곱 트랜스포머 모델을 제안합니다. OnDev-LCT는 효율적인 심층 분리 가능 합성곱과 다중 헤드 자기 주의 메커니즘을 결합하여 이미지의 지역적 및 전역적 특징을 효과적으로 추출하며, 제한된 자원과 비균일 데이터 분포를 갖는 FL 환경에 적합하도록 설계되었습니다. 벤치마크 이미지 데이터셋 실험 결과, OnDev-LCT는 기존 경량 비전 모델보다 우수한 성능을 보이며, 더 적은 파라미터와 낮은 연산량을 가지는 것으로 나타났습니다.
