효과적인 자기 지도 학습(SSL)의 핵심은 차원 붕괴를 방지하는 것이다. 차원 붕괴는 고차원 표현 공간($R$)이 저차원 부분 공간을 형성하는 현상을 의미한다. 기존 SSL 연구는 특징 간의 비상관성을 장려하거나 $R$ 내 샘플의 균일성을 통해 표현 공간의 차원성($H(R)$)을 높이는 데 중점을 두었다. 높은 $H(R)$은 표현 공간의 특징 다양성을 의미하며, 이는 후속 작업에 대한 일반화 성능을 향상시키는 데 기여한다. 또한, SSL 알고리즘은 $R$을 임베딩 공간 $Z$로 매핑하는 프로젝션 헤드를 사용한다. 최근 연구에서는 프로젝션 헤드를 상호 정보량 $I(R;Z)$을 줄임으로써 SSL 목표로부터 잡음 또는 관련 없는 특징을 필터링하는 역할로 규정했다. 기존 연구는 좋은 SSL 표현 공간이 높은 $H(R)$과 낮은 $I(R;Z)$를 가져야 한다고 보았다. 그러나, 본 연구에서는 최고의 성능을 보이는 SSL 모델들이 $H(R)$이 가장 높거나 $I(R;Z)$가 가장 낮은 것이 아니라, 두 값 사이의 균형을 효과적으로 달성한다는 것을 발견했다. 이러한 분석을 바탕으로, 특징 비상관성과 샘플 균일성을 통해 $H(R)$을 증가시키고, 훈련 진행에 따라 $I(R;Z)$를 점진적으로 정규화하는 AdaDim이라는 훈련 전략을 제안한다. AdaDim은 큐, 클러스터링, 예측 네트워크, 또는 학생-교사 아키텍처와 같은 고비용 기술을 사용하지 않고도 일반적인 SSL baseline 대비 최대 3%의 성능 향상을 보였다.
