Meta knowledge assisted Evolutionary Neural Architecture Search
Created by
- Haebom
Category
Empty
저자
Yangyang Li, Guanlong Liu, Ronghua Shang, Licheng Jiao
개요
본 논문은 진화 계산(EC) 기반 신경망 구조 탐색(NAS)의 높은 계산 비용과 고정된 학습률(LR) 스케줄의 문제점을 해결하기 위해 효율적인 메타러닝 기반 EC-NAS 방법을 제안합니다. 메타러닝 기반 학습률(Meta-LR) 기법을 통해 적절한 LR 스케줄을 미리 학습하여 개별 구조 평가 시 정보 손실을 줄이고, 적응적 임계값을 이용한 적응형 서로게이트 모델을 설계하여 몇몇 에포크만으로 잠재적인 구조를 선별하여 완전한 에포크로 평가합니다. 또한, 주기적인 돌연변이 연산자를 제안하여 개체군의 다양성을 높여 일반화 성능과 강건성을 향상시킵니다. CIFAR-10, CIFAR-100, ImageNet1K 데이터셋 실험 결과, 기존 최첨단 방법들과 비교하여 높은 성능을 달성하면서 계산 비용을 낮추고 강건성을 높였음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
메타러닝 기반 학습률 스케줄링을 통해 EC-NAS의 효율성을 크게 향상시켰습니다.
◦
적응형 서로게이트 모델을 통해 계산 비용을 절감했습니다.
◦
주기적인 돌연변이 연산자를 통해 알고리즘의 일반화 성능과 강건성을 향상시켰습니다.
◦
기존 최첨단 방법들과 비교하여 경쟁력 있는 성능을 달성했습니다.
•
한계점:
◦
제안된 방법의 성능 향상이 특정 데이터셋에 국한될 가능성이 있습니다. 다양한 데이터셋과 작업에 대한 추가적인 실험이 필요합니다.
◦
메타러닝 과정 자체에도 계산 비용이 소요될 수 있습니다. 메타러닝 과정의 효율성에 대한 추가적인 연구가 필요합니다.
◦
적응형 임계값의 설정이 알고리즘 성능에 영향을 미칠 수 있으며, 최적의 임계값 설정 방법에 대한 추가적인 연구가 필요합니다.
