이 논문은 이벤트 기반 카메라의 장점(높은 다이나믹 레인지, 낮은 지연 시간, 낮은 전력 소모)을 활용하여 자율 주행 및 로봇 공학 분야에서 이벤트 기반 의미론적 분할의 잠재력을 높이 평가합니다. 기존의 ANN 기반 분할 방법들이 높은 계산 요구량, 이미지 프레임 요구사항, 많은 에너지 소모 등의 문제점을 가지고 있기에, 자원 제약이 있는 에지/모바일 플랫폼에서의 효율성과 적용에 한계가 있습니다. 이를 해결하기 위해, 논문에서는 이벤트 기반 의미론적 분할을 위해 설계된 경량화된 스파이크 기반 Transformer 네트워크인 SLTNet을 제시합니다. SLTNet은 효율적인 스파이크 기반 합성곱 블록(SCB)을 기반으로 모델 파라미터를 줄이면서 풍부한 의미적 특징을 추출하고, 스파이크 기반 Transformer 블록(STB)과 이진 마스크 연산을 통해 장거리 문맥 특징 상호 작용을 향상시킵니다. DDD17과 DSEC-Semantic 데이터셋에 대한 광범위한 실험을 통해 SLTNet이 최첨단 SNN 기반 방법보다 최대 9.06% 및 9.39% mIoU 향상을 보이며, 에너지 소모는 4.58배 낮고 추론 속도는 114 FPS임을 보여줍니다. 소스 코드는 공개되어 있습니다.
