본 논문은 기존의 residual connection을 일반화한 새로운 구조인 Learned Augmented Residual Layer (LAuReL)을 제안합니다. LAuReL은 기존 residual connection을 대체하여 모델 성능과 효율성을 향상시키는 것을 목표로 합니다. 실험 결과, ResNet-50과 ImageNet 1K 작업에서 추가 레이어를 추가했을 때 얻을 수 있는 성능 향상의 60%를 달성하면서 파라미터 수는 0.003%만 증가시켰으며, 파라미터 수를 2.6배 적게 사용하면서 동일한 성능을 달성했습니다. 또한, 10억 및 40억 파라미터의 LLM을 사전 훈련할 때 다양한 하위 작업에서 2.54%~20.05%의 성능 향상을 보였으며, 추가 파라미터는 각각 0.012%와 0.1%에 불과했습니다. 이는 비전 및 언어 모델 모두에서 성능 향상을 가져온다는 것을 의미합니다.
