Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection

Created by
  • Haebom

저자

Jon Gutierrez Zaballa, Koldo Basterretxea, Javier Echanobe

개요

본 논문은 항공 우주 및 자율 주행과 같은 안전 중요 응용 분야를 위한 머신 러닝 기반 임베디드 시스템의 소프트 에러에 대한 강건성을 다룹니다. 트랜지스터 크기 축소 및 전압 감소로 인해 현대 전자 장치는 배경 방사선에 더 취약해지고 있으며, 소프트 에러로 인한 고장에 대한 우려가 커지고 있습니다. 심층 신경망(DNN)의 소프트 에러에 대한 복원력은 대상 장치 기술뿐만 아니라 모델 구조, 매개변수의 수치 표현 및 산술 정밀도에도 의존합니다. 메모리 공간과 계산 복잡도를 줄이기 위해 사용되는 가지치기 및 양자화와 같은 압축 기술은 모델 구조와 표현 방식을 모두 변경하여 소프트 에러 강건성에 영향을 미칩니다. 이러한 맥락에서 종종 간과되지만, 활성화 함수(AF)의 선택은 정확도와 훈련 가능성뿐만 아니라 압축성과 에러 복원력에도 영향을 미칩니다. 본 논문에서는 기술에 무관한 접근 방식으로 모델 정확도, 압축성 및 계산 부하에 미치는 영향을 평가하면서, 경계가 있는 활성화 함수(AFs)를 사용하여 매개변수 변동에 대한 강건성을 향상시키는 방법을 탐구합니다. 자율 주행 시스템에 적용되는 초분광 이미지의 의미론적 분할을 위해 개발된 인코더-디코더 합성곱 모델에 중점을 두고 AMD-Xilinx의 KV260 SoM에서 실험을 수행합니다.

시사점, 한계점

시사점: 경계가 있는 활성화 함수를 사용하여 심층 신경망의 소프트 에러에 대한 강건성을 향상시킬 수 있음을 보여줍니다. 압축 기술과의 조합을 통해 메모리 효율성과 에러 복원력을 동시에 개선할 수 있는 가능성을 제시합니다. 자율 주행 시스템과 같은 안전 중요 응용 분야에 대한 실질적인 함의를 제공합니다.
한계점: 특정한 인코더-디코더 합성곱 모델과 초분광 이미지 데이터셋에 대한 실험 결과에 기반하여 일반화 가능성에 대한 추가 연구가 필요합니다. 다양한 유형의 소프트 에러 및 다른 DNN 아키텍처에 대한 연구가 추가적으로 필요합니다. 사용된 하드웨어 플랫폼(AMD-Xilinx KV260 SoM)에 대한 의존성을 고려해야 합니다.
👍