본 논문은 기존의 잔차 연결(Residual Connection)의 한계를 극복하기 위해, 은닉 상태의 폭을 늘리는 대신 나누는 새로운 연결 방식인 Frac-Connections를 제안합니다. Hyper-Connections가 잔차 연결을 일반화하여 다양한 깊이에서 여러 연결 강도를 도입함으로써 기울기 소실과 표현 붕괴 사이의 seesaw 효과를 해결한 것에 비해, Frac-Connections는 메모리 소모를 줄이면서 Hyper-Connections의 일부 장점을 유지합니다. 70억 매개변수의 MoE 모델을 최대 3조 토큰으로 학습시키는 등 대규모 언어 모델 실험을 통해 Frac-Connections가 잔차 연결보다 성능이 뛰어남을 보여줍니다.
시사점, 한계점
•
시사점:
◦
메모리 효율적인 깊은 신경망 학습을 위한 새로운 연결 방식을 제시합니다.
◦
Hyper-Connections의 장점을 유지하면서 메모리 소모를 줄입니다.
◦
대규모 언어 모델에서 잔차 연결보다 우수한 성능을 보입니다.
•
한계점:
◦
Frac-Connections의 효과가 모든 종류의 심층 학습 아키텍처와 과제에 대해 일반화되는지에 대한 추가 연구가 필요합니다.
