Xi Weng, Jianing An, Xudong Ma, Binhang Qi, Jie Luo, Xi Yang, Jin Song Dong, Lei Huang
개요
본 논문은 자기 지도 학습(SSL)에서 공동 임베딩 아키텍처를 통해 의미 풍부하고 클러스터링 특성이 강한 표현을 효과적으로 학습하는 방법을 제시합니다. 기존 SSL 방법들이 이러한 클러스터링 특성을 활용하지 못하는 점에 착안하여, 인코더 출력의 우수한 클러스터링 특성을 활용하는 새로운 양성 피드백 SSL 방법인 Representation Self-Assignment (ReSA)를 제안합니다. ReSA는 모델의 클러스터링 특성을 활용하여 자기 주도적인 방식으로 학습을 향상시킵니다. 다양한 벤치마크 실험 결과, ReSA를 사용하여 사전 학습된 모델이 기존 최첨단 SSL 방법들을 상당한 차이로 능가함을 보여줍니다. 또한, ReSA가 미세 및 거시적 수준 모두에서 클러스터링 성능을 향상시켜 더 구조적이고 의미 있는 표현을 생성함을 분석합니다.
