본 논문은 지도 학습 기반 딥러닝 모델의 성능 향상을 위해 방대한 양의 라벨링된 데이터가 필요하다는 점을 지적하며, 이에 대한 대안으로 자기 지도 학습(SSL)의 활용에 주목합니다. 특히 비전 분야에서 괄목할 만한 성과를 거둔 Vision Transformer (ViT) 모델에 대한 SSL 기법들을 중점적으로 다룹니다. 라벨링 데이터가 제한적인 상황에서 ViT 모델 학습에 효과적인 다양한 SSL 기법들을 체계적으로 분류하고, 각 기법의 동작 원리, 장단점, 그리고 미래 연구 방향을 제시합니다. SSL의 동기, 인기 있는 사전 학습 과제, 그리고 이 분야의 도전 과제와 발전에 대해 논의하며, 다양한 SSL 방법에 대한 비교 분석을 통해 강점과 한계를 평가합니다.
시사점, 한계점
•
시사점:
◦
라벨링 데이터 부족 문제 해결을 위한 SSL 기법의 중요성을 강조하고, ViT 모델에 특화된 SSL 기법들을 체계적으로 정리함으로써 연구 방향을 제시합니다.
◦
다양한 SSL 기법들의 비교 분석을 통해 각 기법의 강점과 한계를 명확히 제시하고, 향후 연구 방향을 제시합니다.
◦
SSL 기법들을 활용한 ViT 모델 학습의 효율성을 높이는 데 기여할 수 있습니다.
•
한계점:
◦
본 논문은 서베이 논문으로, 새로운 SSL 기법을 제안하거나 실험적으로 검증하는 내용은 포함하지 않습니다.
◦
방대한 SSL 기법들을 모두 다루기 어려워, 특정 기법에 대한 설명이 부족할 수 있습니다.
◦
향후 연구 방향 제시는 상대적으로 추상적이며, 구체적인 연구 계획이나 방법론은 제시하지 않습니다.
