Prototype Augmented Hypernetworks for Continual Learning
Created by
Haebom
저자
Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky
개요
지속 학습(CL)은 이전 지식을 잊지 않고 일련의 작업을 학습하는 것을 목표로 하지만, 새로운 작업에 대한 기울기 업데이트는 종종 이전에 학습된 가중치를 덮어써서 치명적인 망각(CF)을 유발합니다. 본 논문에서는 학습 가능한 작업 원형으로 조건화된 단일 하이퍼네트워크가 필요에 따라 작업별 분류기 헤드를 동적으로 생성하는 프레임워크인 Prototype-Augmented Hypernetworks (PAH)를 제안합니다. 망각을 완화하기 위해 PAH는 교차 엔트로피와 이중 증류 손실(로짓 정렬 및 원형 정렬)을 결합하여 작업 간 안정적인 특징 표현을 보장합니다. Split-CIFAR100 및 TinyImageNet에 대한 평가 결과, PAH는 최첨단 성능을 달성하여 각각 1.7% 및 4.4%의 망각으로 74.5% 및 63.7%의 정확도에 도달하며, 샘플이나 헤드를 저장하지 않는 이전 방법들을 능가합니다.
시사점, 한계점
•
시사점:
◦
학습 가능한 작업 원형을 사용하는 하이퍼네트워크 기반의 새로운 지속 학습 프레임워크 PAH를 제안하여 기존 방법들의 한계를 극복.
◦
이중 증류 손실을 통해 로짓과 원형을 모두 정렬시켜 안정적인 특징 표현을 유지하고 망각을 효과적으로 완화.
