Partial Convolution Meets Visual Attention
Created by
- Haebom
Category
Empty
저자
Haiduo Huang, Fuwei Yang, Dong Li, Ji Liu, Lu Tian, Jinzhang Peng, Pengju Ren, Emad Barsoum
개요
본 논문은 효율적이고 효과적인 신경망 설계를 위해, Depthwise Convolution (DWConv)의 메모리 접근 빈도로 인한 처리량 저하 문제를 해결하고자 Partial Convolution (PConv)을 활용한 FasterNet의 정확도 저하 문제를 개선하는 새로운 Partial visual ATtention (PAT) 메커니즘을 제안합니다. PAT는 PConv와 visual attention을 효율적으로 결합하여 full attention mechanism을 대체하고, 모델 파라미터와 FLOPs를 감소시킵니다. PAT 기반으로 세 가지 블록 (PAT_ch, PAT_sp, PAT_sf)을 구성하고, 이를 이용하여 PATNet이라는 새로운 하이브리드 네트워크를 제안합니다. ImageNet-1K 분류, COCO 데이터셋의 객체 탐지 및 분할 작업에서 FasterNet보다 우수한 정확도와 추론 속도를 달성합니다. 특히 PATNet-T2는 FasterNet-T2보다 1.3% 높은 정확도, 25% 높은 GPU 처리량, 24% 낮은 CPU 지연 시간을 보입니다.
시사점, 한계점
•
시사점:
◦
DWConv의 메모리 접근 문제와 FasterNet의 정확도 저하 문제를 효과적으로 해결하는 새로운 PAT 메커니즘 제시.
◦
Full attention mechanism을 대체하여 모델 경량화 및 성능 향상 달성.
◦
ImageNet-1K 및 COCO 데이터셋에서 우수한 성능 검증.
◦
GPU 처리량 및 CPU 지연 시간 개선.
•
한계점:
◦
PAT 메커니즘의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 데이터셋 및 작업에 대한 성능 평가 확대 필요.
◦
PATNet의 구조적 복잡성 및 최적화 가능성에 대한 추가 분석 필요.
