Surrogate Neural Architecture Codesign Package (SNAC-Pack)

작성자

Haebom

카테고리

Empty

저자

Jason Weitz, Dmitri Demler, Benjamin Hawks, Aaron Wang, Nhan Tran, Javier Duarte

💡 개요

본 논문은 FPGA 환경에서 신경망 아키텍처 탐색(NAS)의 문제점을 해결하기 위해 SNAC-Pack이라는 AutoML 프레임워크를 제안합니다. SNAC-Pack은 단일 목적의 정확도 최적화나 낮은 상관관계를 가진 프록시 지표 대신, LUT, DSP, 플립플롭, BRAM, 지연 시간 등 다차원적인 FPGA 예산을 고려한 다목적 전역 탐색을 수행합니다. 이를 통해 FPGA 합성 비용을 회피하고, 양자화 인식 훈련(QAT) 및 반복적인 크기 가지치기(magnitude pruning)를 통한 압축 루프를 적용하여 하드웨어 최적화된 아키텍처를 효율적으로 설계합니다.

🔑 시사점 및 한계

•

FPGA 하드웨어 제약을 통합적으로 고려한 신경망 아키텍처 코드자인(codesign) 자동화 가능성을 제시합니다.

•

다목적 전역 탐색과 하드웨어 서러게이트 모델을 활용하여, 기존 NAS 방법론의 높은 연산 비용과 낮은 하드웨어 상관관계 문제를 효과적으로 해결합니다.

•

대형 강입자 충돌기(LHC)의 제트 분류 및 초전도 큐비트 판독 등 실제 응용 분야에서 기존 기법을 능가하거나 동등한 성능을 달성하면서 FPGA 자원 사용량을 크게 줄였습니다.

•

새로운 데이터셋에 대한 프레임워크 수정 없이 적용 가능한 유연성을 제공하며, 수개월 소요되던 수동 미세 조정 과정을 수 시간으로 단축시킵니다.

•

현재 제안된 서러게이트 모델의 정확성 및 일반화 성능 향상, 그리고 다양한 FPGA 아키텍처에 대한 확장성 확보가 향후 연구 과제로 남아 있습니다.

PDF 보기

Made with Slashpage