본 논문은 기존 잔차 연결(residual connection)의 한계를 극복하기 위해 직교 잔차 업데이트(Orthogonal Residual Update)를 제안합니다. 기존 방식에서는 모듈의 출력이 입력 스트림에 직접 더해져 기존 방향을 강화하거나 조절하는 경향이 있지만, 제안하는 방법은 입력 스트림에 직교하는 성분만 추가하여 모듈이 새로운 표현 방향을 학습하도록 유도합니다. 이를 통해 더 풍부한 특징 학습과 효율적인 훈련을 가능하게 합니다. ResNetV2, Vision Transformer와 같은 다양한 아키텍처와 CIFARs, TinyImageNet, ImageNet-1k와 같은 다양한 데이터셋에서 일반화 정확도와 훈련 안정성을 향상시키는 것을 실험적으로 보여주며, 예를 들어 ImageNet-1k에서 ViT-B의 top-1 정확도를 4.3% 향상시켰습니다.
