Adaptive Pareto-Optimal Token Merging for Edge Transformer Models in Semantic Communication
Created by
Haebom
Category
Empty
저자
Omar Erak, Omar Alhussein, Hatem Abou-Zeid, Mehdi Bennis
개요
본 논문은 사전 훈련된 비전 트랜스포머에서 추론 시간과 전송 자원 사용량을 줄이기 위한 훈련이 필요 없는 적응형 토큰 병합 프레임워크를 제시한다. 정확도와 계산 비용의 균형을 맞추기 위해 층별 병합 비율 선택을 다중 목표 최적화 문제로 정의하고, 가우시안 프로세스 기반 베이지안 최적화를 사용하여 최적 구성을 위한 파레토 프론티어를 구성한다. 이를 통해 동적 애플리케이션 요구 사항 및 채널 조건에 유연하게 런타임 적응이 가능하다.
시사점, 한계점
•
훈련이 필요 없는 적응형 토큰 병합 프레임워크 제시
•
정확도와 계산 비용 간의 균형을 맞추는 최적화 방법론 제시
•
다양한 신호 대 잡음비(SNR) 조건에서 다른 기준선(baseline)보다 우수한 성능
•
채널 품질에 따라 병합 강도를 조정하는 적응형 정책의 효과 입증
•
6G 네트워크의 자원 제약 환경에서의 트랜스포머 기반 의미 통신 배포를 위한 확장 가능하고 효율적인 접근 방식 제안
