본 논문은 TinyML 플랫폼에 특화된 효율적인 신경망 아키텍처 설계를 위한 새로운 프레임워크를 제시합니다. 대규모 언어 모델(LLM)을 이용한 신경망 아키텍처 탐색(NAS), 비전 트랜스포머(ViT) 기반 지식 증류(KD) 전략, 그리고 설명 가능성 모듈을 활용하여 정확도, 계산 효율성, 메모리 사용량 간의 최적의 균형을 달성합니다. LLM 기반 탐색은 계층적 탐색 공간을 탐색하며, 정확도, 곱셈-누산 연산(MAC), 메모리 지표를 기반으로 파레토 최적화를 통해 후보 아키텍처를 개선합니다. 최고 성능의 아키텍처는 사전 훈련된 ViT-B/16 모델을 사용한 로그 기반 KD를 통해 미세 조정되며, 모델 크기를 늘리지 않고 일반화 성능을 향상시킵니다. CIFAR-100 데이터셋에서 평가하고 STM32H7 마이크로컨트롤러(MCU)에 배포한 결과, 제안된 세 가지 모델(LMaNet-Elite, LMaNet-Core, QwNet-Core)은 각각 74.50%, 74.20%, 73.00%의 정확도를 달성했습니다. 세 모델 모두 MCUNet-in3/in4 (69.62% / 72.86%) 및 XiNet (72.27%)과 같은 기존 최고 성능 모델을 능가하면서 1억 MAC 미만의 낮은 계산 비용과 320KB SRAM 제약을 준수합니다. 이러한 결과는 TinyML 플랫폼을 위한 제안된 프레임워크의 효율성과 성능을 보여주며, LLM 기반 탐색, 파레토 최적화, KD, 설명 가능성을 결합하여 정확하고 효율적이며 해석 가능한 모델을 개발할 수 있는 가능성을 강조합니다. 이 접근 방식은 NAS에 새로운 가능성을 열어 TinyML에 특화된 효율적인 아키텍처 설계를 가능하게 합니다.
