SEKI는 대규모 언어 모델(LLM) 기반의 새로운 신경망 구조 탐색(NAS) 방법입니다. 최신 LLM의 사고연쇄(CoT) 패러다임에서 영감을 받아 자기 진화와 지식 증류라는 두 가지 주요 단계로 작동합니다. 자기 진화 단계에서는 성능 피드백을 기반으로 아키텍처를 개선하는 반복적 정제 메커니즘을 구현하여 고성능 아키텍처 저장소를 축적합니다. 지식 증류 단계에서는 이러한 아키텍처 간의 공통 패턴을 분석하여 새로운 최적화된 설계를 생성합니다. 이 두 단계를 결합하여 SEKI는 도메인별 데이터 없이도 NAS에서 LLM의 성능을 크게 활용합니다. 실험 결과, SEKI는 다양한 데이터 세트와 탐색 공간에서 최첨단(SOTA) 성능을 달성하며, 기존 방법보다 효율성과 정확성 모두에서 뛰어나며 단 0.05 GPU-days만 필요합니다. 또한 SEKI는 여러 작업에서 SOTA에 필적하는 결과를 달성하여 강력한 일반화 능력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 효율적인 NAS 방법 제시 (0.05 GPU-days 소모).
◦
다양한 데이터셋과 탐색 공간에서 SOTA 성능 달성.
◦
도메인 특화 데이터가 필요 없음.
◦
강력한 일반화 성능.
•
한계점:
◦
LLM의 성능에 의존적일 수 있음. (LLM의 한계가 SEKI의 성능에 영향을 미칠 가능성 존재)
