MG-DARTS는 신경망 설계를 자동화하기 위한 신경망 구조 탐색(NAS) 분야에서, 모델 성능과 크기의 균형을 맞추기 위해, 세분화된 구조(필터 레벨, 가중치 레벨)를 탐색하고 메모리 효율적인 다중 입자 탐색 공간을 탐구하는 프레임워크입니다. MG-DARTS는 적응형 가지치기를 통해 탐색 가능한 유닛의 유지 비율을 조정하고, 슈퍼넷 최적화 및 이산화를 여러 단계로 나누어 재평가를 통해 잠재적 편향을 완화합니다. CIFAR-10, CIFAR-100 및 ImageNet에서 SOTA를 달성했습니다.
시사점, 한계점
•
시사점:
◦
필터 레벨, 가중치 레벨 등 세분화된 구조를 탐색하여 모델 성능과 크기 간의 균형을 개선했습니다.
◦
적응형 가지치기를 통해 서로 다른 입자 수준에서 탐색 가능한 유닛의 유지 비율을 조정했습니다.
◦
슈퍼넷 최적화와 이산화를 여러 단계로 나누어 재평가를 수행함으로써 잠재적 편향을 완화했습니다.
