본 논문은 심층 신경망에서 계층 간 상호작용을 강화하는 계층 어텐션 메커니즘의 중복성 문제를 해결하는 새로운 방법을 제시합니다. 기존 계층 어텐션 방법들은 인접 계층에서 학습된 어텐션 가중치가 매우 유사해져 중복성을 갖는다는 문제점이 있습니다. 이러한 중복성은 여러 계층이 거의 동일한 특징을 추출하게 하여 모델의 표현 능력을 감소시키고 훈련 시간을 증가시킵니다. 본 논문에서는 인접 계층 간의 Kullback-Leibler (KL) divergence를 활용하여 중복성을 정량화하는 새로운 접근 방식을 제안합니다. 또한, 중복 계층을 정확하게 식별하고 건너뛰는 Enhanced Beta Quantile Mapping (EBQM) 방법을 제시하여 모델의 안정성을 유지합니다. 제안된 Efficient Layer Attention (ELA) 아키텍처는 훈련 효율성과 전반적인 성능을 모두 향상시켜 훈련 시간을 30% 단축하면서 이미지 분류 및 객체 탐지와 같은 작업에서 성능을 향상시킵니다.
