Simply Stabilizing the Loop via Fully Looped Transformer

작성자

Haebom

카테고리

Empty

저자

Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang

💡 개요

본 논문은 파라미터 수나 컨텍스트 길이를 늘리지 않고도 Transformer 모델의 성능을 향상시키기 위해 제안된 Looped Transformer의 훈련 불안정성 문제를 해결하는 Fully Looped Transformer를 제안합니다. 저자들은 훈련 불안정성의 원인이 그래디언트 진동과 잔차 폭발에 있음을 밝히고, 이를 완화하기 위해 각 레이어에 대한 신호 분산 및 어텐션 블록 재사용과 같은 두 가지 파라미터 프리(parameter-free) 수정을 도입했습니다. 이러한 수정은 12번의 루프 반복까지 안정적인 훈련을 가능하게 하여 기존 Looped Transformer 모델의 붕괴를 방지하고 다운스트림 작업 성능을 최대 13.2% 향상시킵니다.

🔑 시사점 및 한계

•

파라미터 및 컨텍스트 길이 제약 없이 모델 성능 향상: Looped Transformer의 아이디어를 발전시켜, 기존 모델의 크기를 늘리지 않고도 반복적인 계산을 통해 성능을 높이는 방법을 제시했습니다.

•

훈련 안정성 및 성능 향상: 제안된 Fully Looped Transformer는 훈련 불안정성을 효과적으로 해결하여 더 많은 루프 반복으로도 안정적인 훈련이 가능하며, 이는 다운스트림 작업 성능 향상으로 이어집니다.

•

추론 시 계산량 조절 유연성: 루프 반복 횟수를 추론 시점에 조절함으로써 다양한 계산 예산에 대한 모델의 적응성을 보여주었습니다.

•

새로운 아키텍처 및 수정 방법론의 추가 검증 필요: 제안된 Fully Looped Architecture와 Attention Injection의 효과를 다양한 모델 아키텍처 및 태스크에 대해 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage