Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Prototype Augmented Hypernetworks for Continual Learning

Created by
  • Haebom

저자

Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky

개요

지속 학습(Continual Learning, CL)에서 새로운 과업을 위한 기울기 업데이트는 이전에 학습된 가중치를 덮어써버리는 치명적인 망각(Catastrophic Forgetting, CF) 문제를 야기한다. 본 논문에서는 학습 가능한 과업 원형(task prototypes)을 조건으로 하는 단일 하이퍼네트워크가 필요에 따라 과업 특정 분류기 헤드를 동적으로 생성하는, 원형 증강 하이퍼네트워크(Prototype-Augmented Hypernetworks, PAH) 프레임워크를 제안한다. 망각을 완화하기 위해 PAH는 교차 엔트로피 손실과 이중 증류 손실(logit 정렬 및 원형 정렬)을 결합하여 과업 간 안정적인 특징 표현을 보장한다. Split-CIFAR100 및 TinyImageNet에 대한 평가 결과, PAH는 기존 방법보다 뛰어난 성능을 달성하여 망각률이 각각 1.7%와 4.4%에 불과하면서 74.5%와 63.7%의 정확도를 기록했다. 샘플이나 헤드를 저장하지 않고도 이러한 성능을 달성했다는 점이 특징이다.

시사점, 한계점

시사점:
학습 가능한 과업 원형을 이용한 하이퍼네트워크 기반의 새로운 지속 학습 프레임워크 PAH 제안
이중 증류 손실을 통한 효과적인 망각 완화
기존 방법 대비 우수한 성능(Split-CIFAR100: 74.5%, TinyImageNet: 63.7%) 및 낮은 망각률 달성 (Split-CIFAR100: 1.7%, TinyImageNet: 4.4%)
샘플이나 헤드 저장 없이 성능 달성
한계점:
제안된 PAH의 일반화 성능에 대한 추가적인 연구 필요
더욱 다양하고 복잡한 과업 시나리오에서의 성능 검증 필요
하이퍼네트워크의 복잡도 및 계산 비용에 대한 분석 필요
👍