SLTNet: Efficient Event-based Semantic Segmentation with Spike-driven Lightweight Transformer-based Networks
Created by
- Haebom
Category
Empty
저자
Xiaxin Zhu, Fangming Guo, Xianlei Long, Qingyi Gu, Chao Chen, Fuqiang Gu
개요
이 논문은 이벤트 기반 카메라의 장점(높은 다이나믹 레인지, 낮은 지연 시간, 낮은 전력 소모)을 활용하여 자율 주행 및 로봇 공학 분야에서 이벤트 기반 의미론적 분할의 잠재력을 높이 평가합니다. 기존의 ANN 기반 분할 방법들이 높은 계산 요구량, 이미지 프레임 필요성, 그리고 많은 에너지 소모로 인해 자원 제약이 있는 에지/모바일 플랫폼에서의 효율성과 적용에 제한이 있다는 점을 지적하며, 이를 해결하기 위해 이벤트 기반 의미론적 분할을 위한 경량화된 스파이크 기반 트랜스포머 네트워크인 SLTNet을 제안합니다. SLTNet은 효율적인 스파이크 기반 합성곱 블록(SCB)을 사용하여 모델 파라미터를 줄이면서 풍부한 의미적 특징을 추출하고, 이진 마스크 연산을 사용하는 새로운 스파이크 기반 트랜스포머 블록(STB)을 통해 장거리 문맥적 특징 상호 작용을 향상시킵니다. DDD17 및 DSEC-Semantic 데이터셋에 대한 광범위한 실험을 통해 SLTNet이 기존 최고 성능(SOTA) SNN 기반 방법보다 최대 9.06% 및 9.39% mIoU 향상을 보이며, 에너지 소모는 4.58배 낮고 추론 속도는 114 FPS임을 보여줍니다. 코드는 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
이벤트 기반 카메라를 활용한 효율적인 의미론적 분할 방법 제시
◦
경량화된 SNN 아키텍처를 통해 에너지 효율적인 추론 가능
◦
기존 SOTA SNN 기반 방법 대비 성능 향상 및 에너지 소모 감소
◦
오픈소스 코드 공개를 통한 연구 확장 및 활용 용이
•
한계점:
◦
특정 데이터셋(DDD17, DSEC-Semantic)에 대한 실험 결과만 제시되어 일반화 성능에 대한 추가 검증 필요
◦
다양한 이벤트 카메라 센서 및 환경에 대한 로버스트니스 평가 필요
◦
실제 자율 주행 및 로봇 시스템에 적용 및 검증에 대한 추가 연구 필요
