본 논문은 자원 제약이 있는 에지 디바이스에서 대규모 트랜스포머 모델의 배포를 위한 훈련 없이 적응적으로 토큰을 병합하는 프레임워크를 제시합니다. 레이어별 유사도 임계값을 기반으로 의미적으로 중복된 토큰을 선택적으로 병합하여 런타임에 트랜스포머 표현을 압축하는 새로운 메커니즘인 적응형 토큰 병합을 소개합니다. 기존의 고정 비율 축소와 달리, 본 연구의 접근 방식은 병합을 입력 중복도와 직접적으로 연결하여 재훈련 없이 효율성과 작업 관련성 간의 균형을 맞추는 데이터 종속적 적응을 가능하게 합니다. 병합 전략 발견을 다목적 최적화 문제로 설정하고 베이지안 최적화를 활용하여 정확도, 추론 비용 및 통신 비용 간의 Pareto 최적 절충안을 얻습니다. ImageNet 분류 작업에서 수정되지 않은 트랜스포머의 정확도와 동일한 수준을 유지하면서 초당 부동 소수점 연산 수를 30% 줄이고 원래 통신 비용의 20% 미만으로 줄였으며, 시각적 질문 응답 작업에서는 계산량의 1/3 미만과 대역폭의 1/10 미만으로 전체 LLaVA 모델과 경쟁력 있는 성능을 달성했습니다. 또한, 본 연구의 적응형 병합은 다양한 채널 조건에서 강건하며, 모델 역공격의 효과를 크게 저하시켜 고유한 개인 정보 보호 이점을 제공합니다. 본 프레임워크는 자원 제약이 있는 에지 인텔리전스 시나리오에서 강력한 트랜스포머 모델을 배포하기 위한 실용적이고 다재다능한 솔루션을 제공합니다.
