본 논문은 모바일 기기에서 다수의 심층 신경망(DNN)을 병렬 처리하는 새로운 전략인 고급 다중-DNN 모델 스케줄링(ADMS)을 제안합니다. 기존의 모바일 추론 프레임워크는 모델당 하나의 프로세서만 사용하여 하드웨어 활용도가 낮고 성능 및 에너지 효율이 떨어지는 문제점을 가지고 있습니다. ADMS는 하드웨어 지원 및 스케줄링 세분성을 고려하여 최적의 하위 그래프 분할 전략을 오프라인으로 구성하고, 실시간 조건에 따라 동적으로 작업량을 조정하는 프로세서 상태 인식 알고리즘을 사용하여 효율적인 작업량 분배 및 프로세서 활용도 극대화를 달성합니다. 실험 결과, ADMS는 기존 프레임워크에 비해 다중-DNN 추론 지연 시간을 4.04배 단축시키는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
모바일 기기에서 다중 DNN 추론의 성능 및 에너지 효율을 크게 향상시킬 수 있는 새로운 방법 제시.
◦
하드웨어 활용도를 극대화하고 지연 시간을 단축하는 효과적인 스케줄링 전략 제시.
◦
실시간 조건에 동적으로 적응하는 프로세서 상태 인식 알고리즘을 통해 유연성과 적응성을 확보.
•
한계점:
◦
제안된 ADMS 전략의 성능은 오프라인에서 생성된 최적의 하위 그래프 분할 전략에 의존적이며, 동적 환경 변화에 대한 적응성에 대한 추가적인 연구가 필요할 수 있음.
◦
실험은 특정 모바일 환경에서 수행되었으므로, 다른 하드웨어 플랫폼이나 DNN 모델에 대한 일반화 가능성에 대한 추가적인 검증이 필요함.
