Rethinking Inference Placement for Deep Learning across Edge and Cloud Platforms: A Multi-Objective Optimization Perspective and Future Directions
Created by
Haebom
Category
Empty
저자
Zongshun Zhang, Ibrahim Matta
개요
IoT 및 모바일 기기의 급속한 확산으로 VR/AR, 언어 모델 기반 챗봇과 같은 엣지 지능형 애플리케이션이 널리 보급되었습니다. 그러나 제한된 엣지 장치는 점점 더 커지고 복잡해지는 딥러닝(DL) 모델을 처리하기 어려운 경우가 많습니다. 이러한 문제를 해결하기 위해 연구자들은 사용자 장치, 엣지 서버 및 클라우드 간에 DL 모델 파티션을 최적화하고 오프로딩하는 방법을 제안했습니다. 이 연구는 추론 지연 시간, 데이터 프라이버시 및 리소스 비용을 포함하는 다중 목표 최적화를 고려하여 최첨단 모델 오프로딩 방법 및 모델 적응 기술을 연구합니다.
시사점, 한계점
•
엣지 환경에서 DL 모델의 오프로딩 및 최적화 연구의 중요성을 강조합니다.
•
다양한 서비스(낮은 지연 시간의 엣지 리소스, 저렴한 비용의 클라우드 컴퓨팅)를 활용하는 방법을 제시합니다.
•
모델 압축, 모델 증류, 전송 압축, 모델 아키텍처 적응(내부 분류기 포함)과 같은 기술을 통해 정확도, 계산 지연 시간, 전송 지연 시간 및 개인 정보 보호 문제를 해결하는 방법을 제시합니다.
