Two-Valued Symmetric Circulant Matrices: Applications in Deep Learning

작성자

Haebom

카테고리

Empty

저자

Jayakrishna Amathi, Venkata Prasanth Yanambaka, Saraju P. Mohanty, Elias Kougianos

💡 개요

본 논문은 자원 제약적인 환경에서 딥러닝 모델의 배포 문제를 해결하기 위해 극도로 희소한 구조를 가진 Two-Valued Symmetric Circulant Matrix (TVSCM)를 제안한다. TVSCM은 각 레이어에 단 두 개의 가중치만을 사용하여 순환 대칭 행렬을 구성함으로써 저장 공간과 계산 복잡성을 획기적으로 줄인다. 시뮬레이션 결과, MNIST 및 MIT-BIH 데이터셋에서 모델 파라미터를 80배 이상 감소시키면서도 유사한 정확도를 유지하는 성과를 보였다.

🔑 시사점 및 한계

•

자원 제약적인 엣지 컴퓨팅, Tiny-ML, IoMT, 배터리 구동 시스템에 최적화된 경량 딥러닝 모델 아키텍처 제공

•

전통적인 희소 학습 기법 대비 훨씬 낮은 저장 비용과 연산 복잡성을 달성

•

극단적인 희소성으로 인해 모델의 표현력이나 복잡한 패턴 학습 능력에 한계가 있을 수 있으며, 다양한 복잡한 딥러닝 태스크에 대한 일반화 성능 검증 필요

PDF 보기

Made with Slashpage