Shapley Neuron Values for Continual Learning: Which Neurons Matter Most?

작성자

Haebom

카테고리

Empty

저자

Mohammad Ali Vahedifar, Abhisek Ray, Qi Zhang

💡 개요

본 논문은 지속 학습(Continual Learning) 환경에서 발생하는 치명적 망각(catastrophic forgetting) 문제를 해결하기 위해 협동 게임 이론에 기반한 Shapley Neuron Valuation (SNV)이라는 새로운 프레임워크를 제안합니다. SNV는 각 뉴런의 중요도를 정량화하여, 중요 뉴런은 고정(freeze)하고 중요하지 않은 뉴런은 학습 가능하도록(plastic) 유지함으로써 아키텍처 확장이나 버퍼 없이 지속 학습을 가능하게 합니다. ImageNet-1k 데이터셋 실험 결과, SNV는 기존 버퍼 없는(buffer-free) 방법론들보다 일관되게 우수한 성능을 보였으며, 특히 클래스 점진 학습 및 태스크 점진 학습 시나리오에서 상당한 정확도 향상을 달성했습니다.

🔑 시사점 및 한계

•

핵심 시사점 1: SNV는 협동 게임 이론의 Shapley Value 개념을 도입하여 지속 학습에서 뉴런의 중요도를 원칙적으로 평가하는 새로운 방법을 제시합니다.

•

핵심 시사점 2: 아키텍처 확장이나 별도의 저장 공간(버퍼) 없이 중요한 뉴런을 식별하고 고정함으로써, 효율적인 지속 학습 모델을 구축할 수 있는 가능성을 보여줍니다.

•

한계점 또는 향후 과제: 제안된 SNV의 계산 복잡성이 커질 경우, 대규모 모델이나 복잡한 지속 학습 태스크에서는 적용에 제약이 있을 수 있으며, 실제 다양한 지속 학습 시나리오에서의 일반화 성능 검증이 추가적으로 필요할 수 있습니다.

PDF 보기

Made with Slashpage