Rhea Sanjay Sukthanker, Arjun Krishnakumar, Mahmoud Safari, Frank Hutter
개요
본 논문은 신경망 구조 탐색(NAS)에서 중요한 개념인 가중치 공유와 매크로 아키텍처 공간에서의 파라미터 공유 기법인 가중치 얽힘 사이의 격차를 해소하는 것을 목표로 한다. 이를 위해 경사 기반 NAS 방법을 가중치 얽힘 공간에 적용할 수 있는 새로운 방식을 제안한다. 이를 통해 경사 기반 NAS의 성능을 가중치 얽힘 탐색 공간에서 비교 분석하고, 가중치 얽힘과 경사 기반 NAS의 통합이 경사 기반 방법의 이점을 가져오면서 가중치 얽힘 공간의 메모리 효율성을 유지함을 밝힌다.
