Conceptualizing Multi-scale Wavelet Attention and Ray-based Encoding for Human-Object Interaction Detection
Created by
Haebom
저자
Quan Bi Pay, Vishnu Monn Baskaran, Junn Yong Loo, KokSheik Wong, Simon See
개요
본 논문은 효율성과 정확성을 개선한 사람-물체 상호작용(HOI) 검출을 위한 새로운 아키텍처를 제안합니다. 기존 HOI 검출기의 자원 집약적인 학습 방법 및 비효율적인 구조의 한계를 극복하기 위해, 웨이블릿 어텐션 유사 백본과 새로운 광선 기반 인코더 아키텍처를 제시합니다. 웨이블릿 백본은 다양한 합성곱 필터에서 추출된 저차 및 고차 상호작용으로부터 차별적 특징을 집계하여 중간 순서 상호작용을 표현하는 한계를 해결합니다. 광선 기반 인코더는 디코더의 초점을 관련 관심 영역에 최적화하고 계산 오버헤드를 완화하여 다중 스케일 어텐션을 용이하게 합니다. 학습 가능한 광선 기원의 감쇠 강도를 활용하여 디코더는 정확한 예측을 위해 쿼리 임베딩을 강조된 관심 영역과 정렬합니다. ImageNet과 HICO-DET을 포함한 벤치마크 데이터셋에 대한 실험 결과는 제안된 아키텍처의 잠재력을 보여줍니다. 코드는 공개적으로 제공됩니다 ([https://github.com/henry-pay/RayEncoder]).