본 논문은 자율 주행, 인간-컴퓨터 상호 작용, 모바일 헬스와 같은 응용 분야에서 필수적인, 자원 제약적인 엣지 장치에서의 실시간 멀티모달 추론을 위한 새로운 프레임워크 MMEdge를 제안한다. MMEdge는 파이프라인화된 감지 및 인코딩을 기반으로 하며, 완전한 센서 입력을 기다리는 대신, 전체 추론 과정을 세분화된 감지 및 인코딩 단위 시퀀스로 분해하여 데이터 도착과 동시에 점진적으로 계산을 진행한다. 또한 정확도를 유지하기 위해 다양한 파이프라인 단위에서 풍부한 시간적 동역학을 포착하는 경량 시간적 집계 모듈을 도입했다. MMEdge는 또한 지연 시간 제약 조건 하에서 각 모달리티에 대한 최적의 감지 및 모델 구성을 동적으로 선택하는 적응형 멀티모달 구성 최적화 장치와 조기 예측이 충분한 신뢰도에 도달했을 때 느린 모달리티의 향후 단위를 우회하는 교차 모달 스페큘레이티브 건너뛰기 메커니즘을 포함한다. MMEdge는 두 개의 공개 멀티모달 데이터 세트를 사용하여 평가되었으며, 실제 무인 항공기(UAV) 기반 멀티모달 테스트베드에 배포되었다.
