AI 발전을 위해 세상과 역학에 대한 조작 가능한 표현 학습이 중요하며, Joint-Embedding Predictive Architectures (JEPAs)가 유망한 접근법이지만, 실용적인 지침과 이론의 부재로 인해 임시적인 연구 개발이 이루어졌습니다. 본 논문은 JEPAs에 대한 포괄적인 이론을 제시하고, 이를 바탕으로 Lean, Scalable, Theoretically Grounded Training Objective인 LeJEPA를 구현합니다. LeJEPA는 JEPAs의 임베딩이 따라야 할 최적의 분포로 등방성 가우시안을 식별하고, 임베딩을 이 이상적인 분포로 제한하기 위한 새로운 목표인 Sketched Isotropic Gaussian Regularization (SIGReg)을 도입합니다. JEPA 예측 손실과 SIGReg을 결합한 LeJEPA는 단일 하이퍼파라미터, 선형 시간 및 메모리 복잡성, 다양한 하이퍼파라미터, 아키텍처 및 도메인에 걸친 안정성, 휴리스틱 부재, 분산 학습 친화적인 구현 등의 이점을 제공합니다. ImageNet-1k를 사용하여 사전 훈련하고 고정된 백본으로 선형 평가를 수행한 결과, LeJEPA는 ViT-H/14에서 79%의 성능을 달성했습니다.
