본 논문은 적응형 통합 계층 주의 네트워크(AILA) 아키텍처를 제안합니다. AILA는 밀집 스킵 연결과 네트워크 계층 간의 적응적 특징 재사용을 위한 다양한 메커니즘을 결합합니다. 다양한 상품 및 지수(S&P 500, 금, 미국 달러 선물, 커피, 밀)의 가격 예측, CIFAR-10 데이터셋을 사용한 이미지 인식, IMDB 영화 리뷰 데이터셋에 대한 감정 분석 등 세 가지 과제에 대해 AILA를 평가했습니다. 모든 경우에서 AILA는 강력한 심층 학습 기준 모델(LSTM, Transformer, ResNet)과 동등한 성능을 훨씬 적은 훈련 및 추론 시간으로 달성합니다. 단순 선형 계층을 계층 간 연결 메커니즘으로 사용하는 AILA-Architecture 1과 이전 계층의 출력에 선택적으로 집중하는 주의 메커니즘을 구현하는 AILA-Architecture 2의 두 가지 버전을 구현하고 테스트했습니다. 두 아키텍처 모두 각 모델이 개별 작업에 대해 별도로 훈련되는 단일 작업 학습 설정에 적용되었습니다. 결과는 AILA의 적응형 계층 간 연결이 여러 네트워크 깊이에서 관련 특징을 유연하게 재사용함으로써 강력한 성능 향상을 가져온다는 것을 확인했습니다. 따라서 AILA 접근 방식은 기존 아키텍처를 확장하여 장거리 시퀀스 모델링, 계산 속도가 최적화된 이미지 인식 및 실제 최첨단 분류 성능을 향상시킵니다.
