본 논문은 Self-Supervised Learning(SSL)에서 차원 축소 문제를 해결하기 위한 새로운 방법을 제시합니다. 기존 SSL 알고리즘은 차원 대조 접근 방식(feature decorrelation)이나 샘플 대조 접근 방식(uniform sample spread)을 통해 고차원 표현 공간을 얻으려고 합니다. 또한, 투영 헤드(projection head)를 사용하여 고차원 표현 공간 R을 저차원 임베딩 공간 Z로 매핑하는데, 이는 상호 정보량 I(R;Z)을 줄이는 역할을 한다고 알려져 있습니다. 기존 연구는 높은 H(R) (R의 엔트로피)과 낮은 I(R;Z)가 좋은 SSL 표현 공간의 특징이라고 주장하지만, 훈련 역학 및 최종 H(R)과 I(R;Z) 값이 downstream 성능에 미치는 영향에 대한 이해는 부족했습니다. 본 논문은 훈련 초기에는 feature decorrelation에 의한 H(R) 증가가 I(R;Z) 증가를 야기하지만, 훈련 후반에는 uniform sample spread에 의한 H(R) 증가가 I(R;Z)를 안정화 또는 감소시킨다는 것을 보여줍니다. 또한 최고 성능의 SSL 모델은 H(R)이 가장 높거나 I(R;Z)가 가장 낮은 것이 아니라, 두 값 모두 최적의 중간 지점에 도달한다는 것을 밝힙니다. 이러한 훈련 역학을 활용하여 feature decorrelation과 uniform sample spread 기반 손실 함수의 가중치를 적응적으로 조절하는 AdaDim이라는 새로운 방법을 제안합니다.
