RGB-Event based Pedestrian Attribute Recognition: A Benchmark Dataset and An Asymmetric RWKV Fusion Framework
Created by
Haebom
저자
Xiao Wang, Haiyang Wang, Shiao Wang, Qiang Chen, Jiandong Jin, Haoyu Song, Bo Jiang, Chenglong Li
개요
본 논문은 기존 보행자 속성 인식 방법의 한계(조명 조건 및 움직임 흐림에 대한 RGB 카메라의 민감도)를 극복하고자, 이벤트 카메라의 장점을 활용한 다중 모드 RGB-이벤트 속성 인식 작업을 제안합니다. 특히, 외형 및 6가지 인간 감정과 관련된 50가지 속성을 포함하는 100,000개의 RGB-이벤트 샘플로 구성된 대규모 다중 모드 보행자 속성 인식 데이터셋 EventPAR을 처음으로 소개합니다. 기존 PAR 모델을 재훈련 및 평가하여 종합적인 벤치마크를 구축하고, RWKV 기반 다중 모드 보행자 속성 인식 프레임워크(RWKV 시각 인코더 및 비대칭 RWKV 융합 모듈 포함)를 제안합니다. 제안된 데이터셋과 두 개의 시뮬레이션 데이터셋(MARS-Attribute 및 DukeMTMC-VID-Attribute)에서 광범위한 실험을 수행하여 최첨단 결과를 달성했습니다. 소스 코드와 데이터셋은 공개될 예정입니다.