본 논문은 적응적 통합 계층 주의 네트워크(AILA) 아키텍처를 제안합니다. AILA는 밀집 스킵 연결과 네트워크 계층 간의 적응적 특징 재사용을 위한 다양한 메커니즘을 결합합니다. 원자재 및 지수(S&P 500, 금, 미국 달러 선물, 커피, 밀) 가격 예측, CIFAR-10 데이터셋을 사용한 이미지 인식, IMDB 영화 리뷰 데이터셋을 사용한 감정 분석 등 세 가지 과제에 대해 AILA를 평가했습니다. 모든 경우에서 AILA는 강력한 심층 학습 기준 모델(LSTM, Transformer, ResNet)과 동등한 성능을 달성하면서 훈련 및 추론 시간을 획기적으로 단축했습니다. 특히, 계층 간 연결 메커니즘으로 단순 선형 계층을 사용하는 AILA-Architecture 1과 이전 계층의 출력에 선택적으로 집중하는 주의 메커니즘을 구현한 AILA-Architecture 2의 두 가지 버전을 구현하고 테스트했습니다. 두 아키텍처 모두 각 모델을 개별 작업에 대해 별도로 훈련하는 단일 작업 학습 설정에 적용되었습니다. 결과는 AILA의 적응적 계층 간 연결이 여러 네트워크 깊이에서 관련 특징을 유연하게 재사용함으로써 견고한 성능 향상을 가져온다는 것을 확인했습니다. 따라서 AILA 접근 방식은 기존 아키텍처를 확장하여 장거리 시퀀스 모델링, 계산 속도가 최적화된 이미지 인식 및 실제로 최첨단 분류 성능을 향상시킵니다.
