Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing Plasticity for First Session Adaptation Continual Learning

Created by
  • Haebom

저자

Imad Eddine Marouf, Subhankar Roy, Stephane Lathuiliere, Enzo Tartaglione

개요

본 논문은 대규모 사전 훈련 모델(PTM)을 클래스 증분 학습(CIL)에 통합하는 효율적인 전략인 첫 번째 세션 적응(FSA)의 한계를 극복하기 위해, 가소성 향상 테스트 시간 적응(PLASTIC) 방법을 제시합니다. PLASTIC은 테스트 시간 적응(TTA)을 활용하여 레이어 정규화(LayerNorm) 매개변수를 비표시 테스트 데이터에 동적으로 미세 조정함으로써 진화하는 작업에 대한 적응성을 높이고 데이터 손상에 대한 강건성을 향상시킵니다. 교사-학생 증류 프레임워크를 통해 TTA로 인한 모델 분산을 방지하고 안정적인 학습을 유지합니다. 다양한 벤치마크에 대한 실험 결과, PLASTIC은 기존 및 최첨단 PTM 기반 CIL 접근 방식을 능가하며 데이터 손상에 대한 강건성도 보여줍니다.

시사점, 한계점

시사점:
기존의 PTM 기반 CIL 방법의 한계인 작업 분포의 이질성 문제를 효과적으로 해결합니다.
테스트 시간 적응(TTA)을 통해 모델의 적응성과 데이터 손상에 대한 강건성을 향상시킵니다.
교사-학생 증류 프레임워크를 통해 안정적인 학습과 일반화 성능을 보장합니다.
다양한 벤치마크에서 기존 및 최첨단 방법들을 능가하는 성능을 보입니다.
한계점:
레이어 정규화 매개변수만을 미세 조정하는 것이 모델의 전체적인 가소성을 얼마나 효과적으로 복원하는지에 대한 추가적인 연구가 필요합니다.
특정 유형의 데이터 손상에 대해서는 강건성이 제한적일 수 있습니다.
교사-학생 증류 프레임워크의 계산 비용이 증가할 수 있습니다.
👍