SparseJEPA는 기존 Joint Embedding Predictive Architectures (JEPA)의 해석성 부족과 밀집된 임베딩 표현으로 인한 비효율성 문제를 해결하기 위해 제안된 모델입니다. SparseJEPA는 희소 표현 학습을 JEPA 프레임워크에 통합하여 의미적으로 관련된 데이터 특징 간에 잠재 공간 변수를 공유하도록 유도하는 페널티 방법을 사용합니다. CIFAR-100 데이터셋을 사용한 학습과 경량 Vision Transformer 사전 학습을 통해 이미지 분류 및 저수준 작업 모두에서 향상된 임베딩을 선보였으며, 다양한 전이 학습 작업에서 아키텍처의 다용성을 보여주었습니다. 또한, 그룹화 메커니즘이 잠재 변수 간의 다중 정보를 감소시켜 표현의 질을 향상시킨다는 이론적 증명을 제공합니다. 이는 다중 정보에 대한 데이터 처리 불평등을 증명함으로써 이루어졌습니다. 결과적으로 희소성의 도입은 잠재 공간을 개선하고 더 의미 있고 해석 가능한 표현을 학습하는 데 기여합니다. 향후 연구는 객체 중심 표현 학습을 통해 그룹화 메커니즘을 활용하는 새로운 방법을 모색할 예정입니다.
