LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device
Created by
- Haebom
Category
Empty
저자
Zeqing Wang, Fei Cheng, Kangye Ji, Bohu Huang
개요
본 논문은 지속적 학습(Continual Learning, CL)에서 에지 디바이스의 맞춤형 요구를 충족하기 위해 경량화된 알고리즘 LightCL을 제안합니다. 기존 CL 방법들의 높은 자원 소모 문제를 해결하기 위해, LightCL은 신경망 구조 내 이미 일반화된 구성 요소의 중복성을 평가하고 압축합니다. 학습 가소성과 기억 안정성이라는 두 가지 일반화 요소를 고려하여 정량적 평가 지표를 설계하고, 신경망 내 각 계층의 일반화 정도를 평가합니다. 일반화된 부분은 자원 집약적인 훈련 과정 없이 고정하고(Maintain Generalizability), 이전 과제의 특징 추출을 안정화하여(Memorize Feature Patterns) 일반화되지 않은 부분의 일반화 성능을 향상시킵니다. 실험 결과, LightCL은 기존 최첨단 방법들을 능가하며 최대 6.16배의 메모리 공간을 절감하는 것을 보여줍니다. 또한 에지 디바이스에서의 효과도 검증합니다.
시사점, 한계점
•
시사점:
◦
에지 디바이스 환경에 적합한 경량화된 지속적 학습 알고리즘 LightCL 제안.
◦
기존 CL 방법들의 높은 메모리 소모 문제 해결. 최대 6.16배의 메모리 감소 효과 확인.
◦
학습 가소성과 기억 안정성을 고려한 일반화 평가 지표 제시.
◦
에지 디바이스에서의 효과 검증.
•
한계점:
◦
LightCL 알고리즘의 일반화 성능 평가 지표의 객관성 및 타당성에 대한 추가 연구 필요.
◦
다양한 에지 디바이스 환경 및 작업에 대한 추가적인 실험 및 검증 필요.
◦
특정 유형의 신경망 구조에 대한 최적화 가능성 존재, 다른 구조에 대한 적용성 연구 필요.
