Transferrable Surrogates in Expressive Neural Architecture Search Spaces
Created by
Haebom
저자
Shiwen Qin, Gabriela Kadlecova, Martin Pilat, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson
개요
본 논문은 신경망 구조 탐색(NAS)에서 표현력이 풍부한 넓은 탐색 공간 탐색과 효율적인 구조 평가 사이의 균형을 맞추는 문제를 다룬다. 문맥 자유 문법(context-free grammars) 기반의 고도로 표현력 있는 NAS 탐색 공간에서의 탐색 개선을 위해 대리 모델 훈련을 연구한다. 제로-코스트-프록시 지표와 신경 그래프 특징(GRAF)을 사용하여 훈련된 대리 모델 또는 기존의 언어 모델(LM)을 미세 조정하여 훈련된 대리 모델이 데이터셋 내부 및 외부에서 아키텍처 성능에 대한 높은 예측력을 가짐을 보여준다. 또한 이러한 대리 모델을 사용하여 새로운 데이터셋에서 탐색 시 성능이 저조한 아키텍처를 걸러냄으로써 탐색 속도를 크게 높이고 최종 성능을 향상시킬 수 있음을 보여주며, 대리 모델을 직접 탐색 목표로 사용하여 탐색 속도를 획기적으로 높일 수 있음을 제시한다.
시사점, 한계점
•
시사점:
◦
제로-코스트-프록시 지표와 GRAF 또는 미세 조정된 기존 LM을 사용한 대리 모델이 데이터셋 간에 높은 예측력을 보임을 증명.
◦
대리 모델을 이용하여 새로운 데이터셋에서 비효율적인 아키텍처를 필터링하여 NAS 탐색 속도를 향상시키고 최종 성능을 개선.
◦
대리 모델을 직접 탐색 목표로 활용하여 탐색 속도를 획기적으로 향상시킬 수 있음을 제시.
•
한계점:
◦
본 논문에서 제시된 대리 모델의 일반화 성능에 대한 추가적인 실험 및 분석이 필요.
◦
다양한 유형의 NAS 탐색 공간 및 문제에 대한 대리 모델의 적용 가능성 및 한계에 대한 추가 연구 필요.
