AttFC: Attention Fully-Connected Layer for Large-Scale Face Recognition with One GPU
Created by
Haebom
Category
Empty
저자
Zhuowen Zheng, Yain-Whar Si, Xiaochen Yuan, Junwei Duan, Ke Wang, Xiaofan Li, Xinyuan Zhang, Xueyuan Gong
개요
본 논문은 대규모 데이터셋을 이용한 얼굴 인식 모델 학습 시 발생하는 과도한 계산 자원 소모 문제를 해결하기 위해, attention fully connected (AttFC) 레이어를 제안합니다. AttFC는 attention loader를 이용하여 generative class center (GCC)를 생성하고, Dynamic Class Container (DCC)에 동적으로 저장하여 FC 레이어의 매개변수 수를 크게 줄입니다. DCC는 모든 클래스 중심의 작은 부분집합만 저장하므로, FC 레이어보다 매개변수 수가 훨씬 적습니다. 결과적으로, AttFC는 대규모 데이터셋으로 얼굴 인식 모델을 학습할 때 발생하는 메모리 부족(OOM) 문제를 해결하고, 최첨단 방법들과 비교할 만한 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
대규모 얼굴 인식 모델 학습 시 발생하는 계산 자원(시간 및 메모리) 소모 문제를 효과적으로 해결할 수 있는 새로운 방법 제시.
◦
OOM 문제 해결을 통해 대규모 데이터셋을 활용한 얼굴 인식 모델 학습 가능성 확대.
◦
최첨단 방법들과 비교 가능한 성능을 유지하면서 모델 크기를 효과적으로 줄임.
•
한계점:
◦
DCC에 저장되는 클래스 중심의 부분집합 선택 전략에 대한 구체적인 설명 부족.
◦
제안된 방법의 성능이 다양한 데이터셋과 모델 아키텍처에 대한 일반화 가능성에 대한 추가적인 실험 필요.
