본 논문은 자원 제약이 있는 모바일 기기에서 심층 신경망(DNN)을 실시간으로 구동하는 데 있어, 제한된 계산 자원과 배터리 수명 문제를 해결하기 위한 고성능 협업 추론 시스템 Intra-DP를 제안합니다. 기존의 MEC(Mobile Edge Computing) 기반 협업 추론 방식은 계층별 모델 분할에 의존하여 순차적인 DNN 연산 실행으로 인한 전송 병목 현상이 발생하는 문제점을 가지고 있습니다. Intra-DP는 국소 연산자(convolution kernel과 같이 전체 입력 텐서가 아닌 최소 단위 입력을 사용하는 연산자) 기반의 새로운 병렬 컴퓨팅 기법을 사용하여 연산을 여러 독립적인 하위 연산으로 분해하고, 병렬 실행을 통해 서로 다른 하위 연산의 계산과 전송을 겹침으로써 MEC에서의 전송 병목 현상을 완화합니다. 결과적으로 빠르고 에너지 효율적인 추론을 가능하게 합니다.
시사점, 한계점
•
시사점:
◦
MEC 환경에서 DNN 추론의 지연 시간과 에너지 소비를 획기적으로 줄일 수 있는 새로운 방법을 제시합니다. (최대 50% 지연 시간 감소, 최대 75% 에너지 소비 감소)
◦
국소 연산자 기반의 병렬 컴퓨팅 기법을 통해 전송 병목 현상을 효과적으로 해결합니다.
◦
정확도 저하 없이 성능 향상을 달성합니다.
•
한계점:
◦
제안된 Intra-DP의 성능 향상은 특정 DNN 모델과 MEC 환경에 따라 달라질 수 있습니다. 일반화 가능성에 대한 추가적인 연구가 필요합니다.
