[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection

Created by
  • Haebom

저자

Jon Gutierrez-Zaballa, Koldo Basterretxea, Javier Echanobe

개요

본 논문은 항공우주 및 자율 주행과 같은 안전 중요 응용 분야를 위한 머신러닝 기반 임베디드 시스템의 소프트 에러에 대한 강건성을 연구합니다. 트랜지스터 크기 축소 및 전압 감소로 인해 현대 전자 장치는 배경 방사선에 더 취약해져 소프트 에러로 인한 고장에 대한 우려가 증가하고 있습니다. 심층 신경망(DNN)의 소프트 에러에 대한 복원력은 대상 장치 기술뿐만 아니라 모델 구조, 매개변수의 수치 표현 및 연산 정밀도에도 의존합니다. 메모리 공간과 계산 복잡도를 줄이기 위해 사용되는 가지치기 및 양자화와 같은 압축 기술은 모델 구조와 표현 모두를 변경하여 소프트 에러 강건성에 영향을 미칩니다. 이러한 맥락에서 종종 간과되지만, 활성화 함수(AF)의 선택은 정확도와 훈련 가능성뿐만 아니라 압축성과 에러 복원력에도 영향을 미칩니다. 본 논문에서는 기술과 무관한 접근 방식으로 모델 정확도, 압축성 및 계산 부하에 대한 영향을 평가하면서, 경계가 있는 활성화 함수(AF)를 사용하여 매개변수 변동에 대한 강건성을 향상시키는 방법을 탐구합니다. 자율 주행 시스템에 적용되는 초분광 이미지의 의미론적 분할을 위해 개발된 인코더-디코더 합성곱 모델에 중점을 두고 있으며, AMD-Xilinx의 KV260 SoM에서 실험을 수행합니다.

시사점, 한계점

시사점: 경계가 있는 활성화 함수를 사용하여 DNN의 소프트 에러에 대한 강건성을 향상시킬 수 있음을 보여줍니다. 압축 기술과의 조합을 통해 메모리 효율과 에러 복원력을 동시에 개선할 수 있는 가능성을 제시합니다. 자율 주행 시스템과 같은 안전 중요 응용 분야에서 DNN의 신뢰성을 높이는 데 기여할 수 있습니다.
한계점: 특정한 인코더-디코더 합성곱 모델과 초분광 이미지 데이터셋에 대한 실험 결과에 국한되어 일반화 가능성에 대한 추가 연구가 필요합니다. 다양한 유형의 소프트 에러와 다른 아키텍처의 DNN에 대한 실험이 필요합니다. 사용된 하드웨어 플랫폼(KV260 SoM)에 대한 의존성이 존재할 수 있습니다.
👍