Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Hand-Crafted Metrics to Evolved Training-Free Performance Predictors for Neural Architecture Search via Genetic Programming

Created by
  • Haebom

저자

Quan Minh Phan, Ngoc Hoang Luong

개요

본 논문은 신경망 구조 탐색(NAS)에서 제로-비용(ZC) 지표를 사용한 네트워크 성능 추정의 효율성과 효과성을 입증한 기존 연구의 한계를 다룹니다. 기존 ZC 지표들은 서로 다른 문제에 따라 성능 변동이 크다는 불일치성 문제와, 시간이 많이 소요되는 시행착오 과정과 전문 지식이 필요한 수동 설계 방식이라는 문제점을 가지고 있습니다. 이에 본 연구는 유전 프로그래밍을 이용한 기호 회귀 기반 프레임워크를 제안하여 ZC 지표 설계를 자동화합니다. 제안된 프레임워크는 확장성이 높고 다양한 NAS 탐색 공간과 작업에서 실제 네트워크 성능과 강한 양의 순위 상관관계를 갖는 ZC 지표를 빠르게 생성할 수 있습니다. NAS-Bench-Suite-Zero의 13가지 문제에 대한 광범위한 실험을 통해 자동 생성된 지표가 기존 수동 설계 지표보다 일관되게 우수한 성능을 보임을 보여줍니다. 또한, 진화 알고리즘에서 자동 생성된 지표를 탐색 목표로 사용하여 단일 소비자 GPU를 사용하여 15분 이내에 경쟁력 있는 성능의 네트워크 구조를 찾을 수 있음을 보여줍니다.

시사점, 한계점

시사점:
유전 프로그래밍 기반의 자동 ZC 지표 설계 프레임워크를 제시하여 기존 수동 설계 방식의 한계를 극복.
다양한 NAS 탐색 공간과 작업에서 일관되게 우수한 성능을 보이는 ZC 지표 자동 생성 가능.
단일 소비자 GPU를 사용하여 15분 이내에 경쟁력 있는 네트워크 구조 탐색 가능.
기존 수동 설계 ZC 지표보다 성능 향상을 보임.
한계점:
제안된 프레임워크의 일반화 성능에 대한 추가적인 검증 필요.
특정 유형의 NAS 문제에 편향될 가능성 존재.
자동 생성된 ZC 지표의 해석 가능성에 대한 연구 필요.
👍