본 논문은 자가 지도 학습으로 사전 훈련된 모델이 하류 작업과의 정렬이 부족하여 미세 조정의 효과가 감소하는 문제를 해결하기 위해 BiSSL이라는 새로운 이중 수준 훈련 프레임워크를 제안합니다. BiSSL은 기존의 자가 지도 학습 사전 훈련 후 중간 단계로 수행되며, 하위 수준 목표에는 사전 훈련 목표를, 상위 수준 목표에는 하류 작업 목표를 통합하는 이중 수준 최적화 문제를 해결합니다. 이는 사전 훈련과 미세 조정 단계 간의 상호 의존성을 명시적으로 모델링하여 하류 작업과 더 잘 정렬된 모델 초기화를 가능하게 합니다. 다양한 사전 훈련 및 하류 작업과 호환되는 일반적인 BiSSL 훈련 알고리즘을 제안하며, ImageNet 데이터셋에서 ResNet-50 백본을 사전 훈련하는 SimCLR과 Bootstrap Your Own Latent을 사용하여 12개의 하류 이미지 분류 데이터셋과 객체 탐지 작업에서 정확도를 크게 향상시켰음을 보여줍니다.
