LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding
Created by
Haebom
저자
Yuxuan Hu, Jihao Liu, Ke Wang, Jinliang Zhen, Weikang Shi, Manyuan Zhang, Qi Dou, Rui Liu, Aojun Zhou, Hongsheng Li
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 다양한 작업에 걸쳐 적용 가능한 신경망 구조 탐색(NAS) 프레임워크인 LM-Searcher를 제안합니다. 기존의 LLM 기반 NAS 접근 방식은 프롬프트 엔지니어링 및 도메인 특정 튜닝에 크게 의존하는 한계가 있었지만, LM-Searcher는 도메인 특정 적응 없이 다양한 도메인에서 신경망 구조 최적화를 수행합니다. 이를 위해, 신경망 구조를 위한 범용 숫자 문자열 표현인 NCode를 사용하여 도메인 간 아키텍처 인코딩 및 탐색을 가능하게 합니다. 또한, NAS 문제를 순위 지정 작업으로 재구성하고, 새로운 가지치기 기반 부분 공간 샘플링 전략에서 파생된 지시 튜닝 샘플을 사용하여 고성능 아키텍처를 후보 풀에서 선택하도록 LLM을 훈련합니다. 다양한 아키텍처-성능 쌍을 포함하는 정제된 데이터 세트를 통해 강력하고 전이 가능한 학습을 장려합니다. 광범위한 실험을 통해 LM-Searcher가 도메인 내(예: 이미지 분류를 위한 CNN) 및 도메인 외부(예: 분할 및 생성을 위한 LoRA 구성) 작업 모두에서 경쟁력 있는 성능을 달성함을 보여주며, 유연하고 일반화 가능한 LLM 기반 아키텍처 탐색을 위한 새로운 패러다임을 제시합니다. 데이터 세트와 모델은 https://github.com/Ashone3/LM-Searcher 에서 공개될 예정입니다.
