본 논문은 단일 SoC 상에서 여러 DNN(Deep Neural Network)을 공존시키는 멀티 테넌트 실행 환경에서 공유 캐시의 효율성을 높이기 위한 아키텍처-스케줄링 공동 설계인 CaMDN을 제안합니다. 기존 연구들에서 멀티 테넌트 성능 향상을 위한 많은 방법들이 제시되었지만, 공유 캐시의 영향은 충분히 연구되지 않았습니다. CaMDN은 공유 캐시 내에 모델 전용, NPU(Neural Processing Unit) 제어 영역을 지원하는 경량 아키텍처와 공유 캐시 활용도를 개선하는 캐시 스케줄링 방법을 제안합니다. 특히, 가용 캐시 용량 변화에 적응하기 위한 캐시 인식 매핑 방법과 런타임에 공존하는 DNN들의 사용량을 조정하는 동적 할당 알고리즘을 포함합니다. 실험 결과, CaMDN은 평균 33.4%의 메모리 접근 감소와 최대 2.56배(평균 1.88배)의 모델 속도 향상을 달성했습니다.
