본 논문은 표준 다중 모달 자가 지도 학습(SSL) 알고리즘이 사전 훈련 중에 교차 모달 동기화를 암시적 감독 레이블로 간주하여 다중 모달 샘플의 규모와 품질에 대한 높은 요구 사항을 제기하는 문제를 다룹니다. 이러한 제약은 시간 흐름 신호의 이질성과 해석 불가능성으로 인해 풍부한 단일 모달 데이터가 있지만 고품질 다중 모달 쌍이 부족한 IoT 응용 프로그램에서 감지 지능의 성능을 크게 제한합니다. 따라서 본 논문에서는 사전 훈련된 단일 모달 표현의 효율적인 교차 모달 정렬을 촉진함으로써 SSL 설정에서 다중 모달 쌍 효율성의 과제를 해결하는 교차 모달 정렬 프레임워크인 InfoMAE를 제안합니다. InfoMAE는 분포 수준과 인스턴스 수준 정렬을 동시에 해결하는 새로운 정보 이론에서 영감을 받은 공식을 통해 제한된 데이터 쌍으로 효율적인 교차 모달 정렬을 달성합니다. 두 개의 실제 IoT 응용 프로그램에 대한 광범위한 실험을 통해 사전 훈련된 단일 모달 모델을 응집력 있는 공동 다중 모달 모델로 연결하는 InfoMAE의 쌍 효율성을 평가합니다. InfoMAE는 다중 모달 쌍 효율성을 크게 향상시켜 다운스트림 다중 모달 작업을 60% 이상 향상시키며, 단일 모달 작업 정확도도 평균 22% 향상시킵니다.
시사점, 한계점
•
시사점:
◦
제한된 다중 모달 데이터 쌍으로도 효율적인 교차 모달 정렬을 달성하는 새로운 프레임워크 InfoMAE 제시.
◦
정보 이론 기반 공식을 통해 분포 수준 및 인스턴스 수준의 정렬을 동시에 해결.
◦
다운스트림 다중 모달 작업의 성능을 60% 이상 향상시키고, 단일 모달 작업 정확도도 평균 22% 향상.
◦
IoT 응용 프로그램과 같은 다중 모달 데이터가 부족한 환경에서의 다중 모달 학습 성능 향상에 기여.
•
한계점:
◦
실험은 두 개의 실제 IoT 응용 프로그램에 국한됨. 다양한 응용 프로그램 및 데이터셋에 대한 추가적인 실험이 필요.
◦
InfoMAE의 성능 향상이 특정 데이터셋이나 작업에 편향될 가능성 존재. 일반화 성능에 대한 추가적인 분석 필요.
◦
정보 이론 기반 공식의 복잡성으로 인해 계산 비용이 증가할 가능성. 계산 효율성에 대한 추가적인 연구 필요.
