Reparameterized LLM Training via Orthogonal Equivalence Transformation
Created by
Haebom
저자
Zeju Qiu, Simon Buchholz, Tim Z. Xiao, Maximilian Dax, Bernhard Scholkopf, Weiyang Liu
개요
본 논문은 대규모 언어 모델(LLM) 학습의 어려움을 해결하기 위해 새로운 재매개변수화 학습 알고리즘인 POET를 제안합니다. POET는 직교 등가 변환을 사용하여 뉴런을 최적화하며, 각 뉴런을 두 개의 학습 가능한 직교 행렬과 고정된 무작위 가중치 행렬로 재매개변수화합니다. 가중치 행렬의 스펙트럼 특성을 보존함으로써 목적 함수를 안정적으로 최적화하고 일반화 성능을 향상시킵니다. 또한, 효율적인 근사치를 개발하여 대규모 신경망 학습에 POET를 유연하고 확장 가능하게 만듭니다. 광범위한 실험을 통해 LLM 학습에서 POET의 효과와 확장성을 검증합니다.
