본 논문은 기존 Residual connection의 한계를 극복하기 위해 Orthogonal Residual Update를 제안합니다. 기존 Residual connection은 모듈의 출력을 입력 스트림에 직접 더함으로써 기존 방향을 강화하거나 조절하는 경향이 있어 새로운 특징 학습에 제한적일 수 있습니다. 본 논문에서 제안하는 Orthogonal Residual Update는 모듈의 출력을 입력 스트림에 대해 분해하고, 입력 스트림에 직교하는 성분만 추가합니다. 이를 통해 모듈이 주로 새로운 표현 방향에 기여하도록 유도하여 더 풍부한 특징 학습과 효율적인 학습을 가능하게 합니다. ResNetV2, Vision Transformers와 같은 다양한 아키텍처와 CIFARs, TinyImageNet, ImageNet-1k와 같은 다양한 데이터셋에서 일반화 정확도와 학습 안정성 향상을 보이며, 예를 들어 ImageNet-1k에서 ViT-B의 top-1 정확도를 4.3%p 향상시켰습니다.
