자기 지도 학습(SSL)은 데이터의 고유 구조를 활용하여 학습 과정을 안내하는 데이터 중심 학습 방법입니다. 외부 레이블에 의존하는 지도 학습과 달리, SSL은 데이터의 고유 특성을 사용하여 자체 감독 신호를 생성합니다. 그러나 SSL 방법의 흔한 문제는 표현 붕괴(representation collapse)로, 모델이 일정한 입력 불변 특징 표현을 출력하는 것입니다. 이 문제는 표현 붕괴를 피하려는 노력으로 연구자의 시간과 노력을 낭비하게 하므로 SSL 방법을 새로운 데이터 모달리티에 적용하는 것을 방해합니다. 본 논문에서는 마스크된 잠재 변수로부터 함수의 예측(Prediction of Functionals from Masked Latents, PFML)이라는 새로운 시간 시계열 데이터 SSL 알고리즘을 제안합니다. 마스크된 입력 신호 또는 그 잠재 표현을 직접 예측하는 대신, PFML은 마스크된 임베딩에 해당하는 입력 신호의 통계적 함수를 일련의 마스크되지 않은 임베딩을 기반으로 예측합니다. 이 알고리즘은 표현 붕괴를 피하도록 설계되어 다양한 시간 시계열 데이터 도메인(예: 임상 데이터의 새로운 센서 모달리티)에 쉽게 적용할 수 있습니다. 세 가지 다른 데이터 모달리티(다중 센서 관성 측정 장치 데이터로부터의 유아 자세 및 움직임 분류, 음성 데이터로부터의 감정 인식, EEG 데이터로부터의 수면 단계 분류)에 걸쳐 복잡한 실제 분류 작업을 통해 PFML의 효과를 입증합니다. 결과는 PFML이 개념적으로 유사한 SSL 방법과 대조 학습 기반 SSL 방법보다 우수하며, 또한 개념적으로 더 간단하고 표현 붕괴 없이 최신 SSL 방법과 동등한 성능을 보임을 보여줍니다.
