본 논문은 시각 피질의 신경 다양체 개념을 활용하여, 대비 학습 기반의 자기 지도 학습 프레임워크인 CLAMP(Contrastive Learning As Manifold Packing)를 제시합니다. CLAMP는 각 클래스를 여러 증강된 뷰를 포함하는 서브 다양체로 간주하고, 단거리 반발 입자 시스템의 퍼텐셜 에너지에서 영감을 받은 손실 함수를 통해 서브 다양체의 크기와 위치를 동적으로 최적화합니다. 이는 다양체들을 효과적으로 분리하는 '패킹 문제'로 표현 학습을 재구성하는 방법입니다. 기존의 point-wise 비교 기반 대비 학습과 달리, 기하학적인 관점에서 다양체의 분리를 중시하며, 표현 공간에서의 해석 가능한 동역학을 제공합니다. 표준 선형 평가 프로토콜 하에서 최첨단 자기 지도 학습 모델들과 경쟁적인 성능을 달성하며, 학습된 표현 공간에서 서로 다른 범주의 신경 다양체가 자연스럽게 나타나고 효과적으로 분리됨을 보여줍니다.
