본 논문은 고성능 CNN 아키텍처를 발견하는 강력한 기술인 Neural Architecture Search (NAS)에서 기존의 비용이 많이 드는 훈련이나 광범위한 샘플링에 의존하는 방법들의 한계를 극복하기 위해, 훈련이 필요 없는 Zero-shot NAS를 제안합니다. 기존의 Zero-shot NAS는 아키텍처 성능을 예측하는 프록시를 사용하지만, 종종 매개변수 수나 FLOPs와 같은 간단한 지표보다 성능이 떨어지고 서로 다른 검색 공간에서 일반화가 잘 되지 않는다는 문제점이 있습니다. 본 논문에서는 Transformer 기반 연산자 임베딩 생성기와 Graph Convolutional Network (GCN)을 결합한 범용적인 모델 기반 Zero-cost (ZC) 프록시인 TG-NAS를 제안합니다. TG-NAS는 재훈련이 필요 없고 임의의 검색 공간에서 일반화되며, 데이터 효율성, 강건성, 공간 간 일관성이 뛰어납니다. 다양한 NAS 벤치마크에 대한 광범위한 평가를 통해 TG-NAS가 기존 프록시보다 우수한 순위 상관관계와 일반화 성능을 보임을 보여줍니다. 또한, 검색 효율성을 최대 300배까지 향상시키고 NAS-Bench-201에서 93.75% CIFAR-10 정확도, DARTS 공간에서 74.9% ImageNet top-1 정확도를 달성하는 아키텍처를 발견합니다.
