BiKA: Kolmogorov-Arnold-Network-inspired Ultra Lightweight Neural Network Hardware Accelerator

Created by

Haebom

저자

Yuhao Liu, Salim Ullah, Akash Kumar

💡 개요

제한된 자원과 전력 제약이 있는 엣지 디바이스를 위해, 본 논문은 널리 사용되는 Kolmogorov-Arnold Network(KAN)의 아이디어를 차용하되 계산 비용을 획기적으로 줄인 BiKA라는 새로운 신경망 하드웨어 가속기를 제안합니다. BiKA는 비선형 함수를 이진 학습 가능한 임계값으로 대체하여 곱셈 연산 없이 비교기와 누산기만으로 동작하는 초경량 계산 패턴을 구현합니다. FPGA 프로토타입 실험 결과, BiKA는 기존의 이진화 및 양자화 신경망 가속기에 비해 하드웨어 자원 사용량을 크게 줄이면서도 경쟁력 있는 정확도를 유지했습니다.

🔑 시사점 및 한계

•

하드웨어 효율성 극대화: 곱셈 연산을 제거하고 비교기와 누산기만으로 연산을 수행함으로써 엣지 디바이스에 최적화된 극도로 가벼운 신경망 하드웨어 가속기 설계를 가능하게 합니다.

•

기존 가속기와의 성능 향상: 이진화 및 양자화 신경망 가속기에 비해 하드웨어 자원 사용량을 유의미하게 줄이면서도 높은 정확도를 유지하는 경쟁력 있는 성능을 입증했습니다.

•

새로운 신경망 아키텍처 제시: KAN의 장점을 계승하면서도 하드웨어 친화적인 계산 방식을 도입하여 미래의 엣지 AI 하드웨어 설계에 대한 새로운 방향성을 제시합니다.

•

모델 복잡성에 따른 성능 변화: 현재 제안된 BiKA 아키텍처가 더 복잡하고 깊은 신경망 모델에서 어느 정도의 성능 저하를 보일지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage