CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
Created by
Haebom
저자
Ziyue Liu, Ruijie Zhang, Zhengyang Wang, Mingsong Yan, Zi Yang, Paul Hovland, Bogdan Nicolae, Franck Cappello, Sui Tang, Zheng Zhang
개요
본 논문은 대규모 언어 모델(LLM)의 훈련 시 과도한 계산 자원을 소모하는 풀 사이즈 MLP 및 어텐션 레이어의 문제를 해결하기 위해, 활성화 값의 저랭크 특성에 착안하여 효율적인 자동 인코더인 CoLA 및 CoLA-M을 제안한다. CoLA는 계산 비용을 절감하고 훈련 처리량을 향상시키며, CoLA-M은 메모리 비용을 추가적으로 줄인다. LLaMA 모델 실험을 통해 CoLA는 계산 비용을 2배 절감하고 훈련 처리량을 1.86배 향상시켰으며, CoLA-M은 파라미터, 계산, 메모리 효율성 모두를 개선했다. 결과적으로 모델 크기를 2배 줄여 리소스 제약 플랫폼에서 더 빠른 추론을 가능하게 한다.
시사점, 한계점
•
시사점:
◦
LLM 훈련의 계산 및 메모리 효율성을 개선하는 새로운 아키텍처인 CoLA 및 CoLA-M 제안.
◦
LLaMA 모델 실험을 통해 CoLA의 성능 및 효율성 입증 (계산 비용 2배 절감, 훈련 처리량 1.86배 향상).
◦
CoLA-M을 통해 메모리 효율성 추가 개선.
◦
모델 크기 축소를 통한 추론 속도 및 메모리 사용량 감소.
•
한계점:
◦
구체적인 실험 데이터 (예: 다양한 모델 크기 및 데이터셋에 대한 실험 결과)가 제시되지 않음.
