본 논문은 점수 매칭 및 플로우 매칭 기반의 최근 생성 모델이 생성 작업에서 상당한 발전을 이루었지만, 판별적 작업에서의 잠재력은 아직 충분히 탐구되지 않았다는 점을 지적합니다. 기존의 생성 분류기와 같은 접근 방식은 복잡한 설계로 인해 이러한 모델의 판별적 작업에 대한 기능을 완전히 활용하지 못했습니다. 따라서 본 논문에서는 사전 훈련된 연속 생성 모델의 생성 과정을 역전시켜 비지도 표현을 추출하는 사전 훈련된 가역적 생성(PRG)을 제안합니다. PRG는 고용량의 사전 훈련된 비지도 생성 모델을 효과적으로 재사용하여 강력하고 일반화 가능한 특징 추출기로 활용함으로써 다운스트림 작업에 적용합니다. 이 프레임워크는 특정 다운스트림 작업에 맞게 조정된 특징 계층 구조를 유연하게 선택할 수 있도록 합니다. 실험 결과, 다양한 벤치마크에서 기존 접근 방식을 능가하며, 64x64 해상도의 ImageNet에서 78%의 상위 1% 정확도를 달성하는 등 생성 모델 기반 방법 중 최첨단 성능을 달성했습니다. 추가적으로 분포 외 평가를 포함한 광범위한 ablation study를 통해 본 접근 방식의 효과를 검증했습니다. 코드는 https://github.com/opendilab/PRG 에서 이용 가능합니다.
