본 논문은 대규모 언어 모델(LLM)의 효과적이고 안정적인 훈련이 어려운 점을 해결하기 위해 새로운 훈련 알고리즘인 POET를 제안합니다. POET는 직교 등가 변환을 사용하여 뉴런을 최적화하는 재매개변수화 알고리즘으로, 각 뉴런을 두 개의 학습 가능한 직교 행렬과 고정된 무작위 가중치 행렬로 재매개변수화합니다. 가중치 행렬의 스펙트럼 특성을 보존함으로써, POET는 목적 함수를 안정적으로 최적화하여 일반화 성능을 향상시킵니다. 또한, 효율적인 근사치를 개발하여 대규모 신경망 훈련에 POET를 유연하고 확장 가능하게 만들었습니다. 광범위한 실험을 통해 LLM 훈련에서 POET의 효과와 확장성을 검증했습니다.
