Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search

Fri, 08 May 2026 10:46:46 GMT

### 저자

Zhen Liu, Yuhan Liu, Jinjun Wang, Wei Song, Jianyi Liu, Jingwen Fu

### 💡 개요

본 논문은 신경망 구조 탐색(NAS)에서 고비용의 평가 환경에서 새로운 설계를 탐색하면서 기존의 구조적 지식을 통합하는 핵심 과제를 다룹니다. LLM은 풍부한 구조 및 코딩 사전 지식을 실행 가능한 코드 수정으로 변환할 수 있어 NAS에 유용한 조력자가 될 수 있습니다. 그러나 실제로는 작은 수정도 의도치 않게 기능적 요인들의 복잡한 상호작용을 야기하여 비국소적인 성능 변화를 일으키는 '기능적 얽힘' 현상이 발생합니다.

### 🔑 시사점 및 한계

- LLM 기반 NAS에서 발생하는 '기능적 얽힘' 문제를 해결하기 위해, 수정할 기능적 요소를 명시적으로 선택하고 해당 요소를 조건으로 편집을 진행하는 'SPARK' 방법론을 제안합니다.

- SPARK는 기능적 얽힘으로 인한 부작용을 줄이고, 더 표적화되고 신뢰할 수 있는 구조 수정으로 샘플 효율성을 28.1배 높이고 OOD 정확도를 22.9% 향상시켰습니다.

- 제안된 SPARK 방법론이 특정 NAS 벤치마크에서 우수한 성능을 보였지만, 다양한 NAS 문제 및 LLM과의 통합 시나리오에 대한 일반화 가능성을 추가적으로 검증할 필요가 있습니다.

[PDF 보기](https://arxiv.org/pdf/2605.04057)