본 논문은 자기 지도 학습(SSL)에서 두 가지 주요 패러다임인 재구성과 결합 임베딩을 비교 분석합니다. 재구성 방법은 입력 공간에서 다른 관점으로부터 원래 샘플을 복구하는 데 중점을 두는 반면, 결합 임베딩 방법은 잠재 공간에서 다른 관점들의 표현을 정렬합니다. 논문은 각 패러다임을 구별하는 핵심 메커니즘을 밝히고, 두 접근 방식에 대한 폐쇄형 해를 활용하여 데이터 증강과 같은 관점 생성 프로세스가 학습된 표현에 어떻게 영향을 미치는지 정확하게 특징짓습니다. 또한, 지도 학습과 달리 두 SSL 패러다임 모두 샘플 크기가 증가함에 따라 점근적 최적성을 달성하기 위해 증강과 무관한 특징 간의 최소한의 정렬을 필요로 한다는 것을 보여줍니다. 무관한 특징의 크기가 클 경우, 결합 임베딩 방법이 재구성 기반 방법보다 엄격하게 약한 정렬 조건을 부과하기 때문에 더 적합하다는 것을 밝힙니다. 이러한 결과는 두 패러다임 간의 절충점을 명확히 할 뿐만 아니라 실제 어려운 데이터 세트에서 결합 임베딩 접근 방식의 경험적 성공을 뒷받침합니다.
