# Activation Function Design Sustains Plasticity in Continual Learning

### 저자

Lute Lillo, Nick Cheney

### 💡 개요

본 논문은 연속 학습(continual learning) 환경에서 모델이 시간이 지남에 따라 새로운 정보에 적응하는 능력, 즉 '가소성(plasticity)'을 잃는 문제를 다룹니다. 연구진은 활성화 함수(activation function)의 설계가 이러한 가소성 손실을 완화하는 데 핵심적인 역할을 하며, 이는 모델 크기나 최적화 기법과 무관함을 보여줍니다. 이를 바탕으로 음수 영역의 형태와 포화(saturation) 동작을 분석하여, 기존 활성화 함수를 대체할 수 있는 두 가지 새로운 활성화 함수(Smooth-Leaky 및 Randomized Smooth-Leaky)를 제안하고 실험적으로 그 효과를 검증했습니다.

### 🔑 시사점 및 한계

- 활성화 함수의 설계는 연속 학습에서 가소성 손실을 줄이는 데 있어 가장 중요하고 범용적인 요소임을 입증했습니다.

- 제안된 Smooth-Leaky 및 Randomized Smooth-Leaky 활성화 함수는 별도의 용량 증가나 특정 태스크 튜닝 없이도 연속 학습 성능을 향상시킬 수 있는 경량의 솔루션을 제공합니다.

- 논문에서 제시한 간단한 스트레스 프로토콜과 진단 도구는 활성화 함수의 형태와 변화에 따른 적응 능력 사이의 연관성을 이해하는 데 도움을 줍니다.

- 향후 연구는 제안된 활성화 함수들이 더 다양한 연속 학습 시나리오와 복잡한 데이터 분포 변화에 대해 얼마나 효과적인지 추가적으로 검증할 필요가 있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2509.22562)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).