본 논문은 심층 신경망에서 계층 간 상호작용을 강화하는 계층 어텐션 메커니즘의 과도한 중복성 문제를 해결하는 새로운 방법을 제시합니다. 기존 계층 어텐션 방법은 인접 계층에서 학습된 어텐션 가중치가 매우 유사해져 중복성이 발생하는 문제점이 있습니다. 이는 여러 계층이 거의 동일한 특징을 추출하여 모델의 표현 능력을 감소시키고 훈련 시간을 증가시킵니다. 본 논문에서는 인접 계층 간의 Kullback-Leibler (KL) divergence를 활용하여 중복성을 정량화하고, Enhanced Beta Quantile Mapping (EBQM) 방법을 통해 중복 계층을 정확하게 식별하고 건너뛰는 효율적인 계층 어텐션 (ELA) 구조를 제안합니다. ELA는 이미지 분류 및 객체 탐지와 같은 작업에서 훈련 시간을 30% 단축하면서 성능을 향상시킵니다.
