A Second-Order Perspective on Model Compositionality and Incremental Learning
Created by
- Haebom
Category
Empty
저자
Angelo Porrello, Lorenzo Bonicelli, Pietro Buzzega, Monica Millunzi, Simone Calderara, Rita Cucchiara
개요
본 논문은 사전 훈련된 심층 모델의 미세 조정에서 나타나는 조합성(compositionality)에 대한 이론적 연구를 수행합니다. 선형 네트워크에 집중된 기존 연구와 달리, 비선형 네트워크에서 손실 함수의 2차 테일러 근사를 통해 조합성을 분석합니다. 분석 결과, 사전 훈련 영역 내에 머무르는 것이 조합 가능한 모듈을 얻는 데 중요함을 강조하며, 이를 바탕으로 두 가지 이중 증분 학습 알고리즘을 제안합니다. 하나는 개별적으로 훈련된 여러 모델의 관점에서, 다른 하나는 전체적으로 조합된 모델을 최적화하는 관점에서 접근합니다. 증분 분류 작업에 대한 적용을 통해 효과적인 다중 작업 모델 생성뿐 아니라 특정 작업의 학습 해제 및 전문화도 가능함을 보여줍니다. 코드는 https://github.com/aimagelab/mammoth 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
비선형 네트워크에서의 조합성에 대한 이론적 이해를 제공합니다.
◦
사전 훈련 영역 유지의 중요성을 강조합니다.
◦
두 가지 이중 증분 학습 알고리즘을 제안하고, 그 효과를 증명합니다.
◦
증분 학습 모듈을 이용한 다중 작업 모델 생성, 학습 해제 및 전문화 가능성을 제시합니다.
•
한계점:
◦
2차 테일러 근사를 사용하여 분석하므로, 고차항의 영향을 고려하지 못할 수 있습니다.
◦
제안된 알고리즘의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
특정 유형의 네트워크와 작업에만 적용 가능할 수 있습니다.
