Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training

Created by
  • Haebom

저자

Huishuai Zhang, Bohan Wang, Luoxin Chen

개요

AdamS는 대규모 언어 모델(LLM)의 사전 학습 및 미세 조정을 위한 Adam의 간단하면서도 효과적인 대안입니다. 가중치 합의 제곱근을 분모로 사용하여 두 번째 모멘트 추정치를 필요로 하지 않아 메모리 및 계산량 측면에서 SGD with momentum과 동일한 효율성을 제공하면서 우수한 최적화 성능을 달성합니다. AdamW의 하이퍼파라미터를 직접 상속할 수 있으며 모델과 무관하게 기존 파이프라인에 통합이 용이합니다. 트랜스포머 목적 함수의 $(L_0, L_1)$ 부드러움 특성을 바탕으로 설계되었으며, 이론적 수렴 보장과 하이퍼파라미터 선택에 대한 실용적인 지침을 제공합니다. GPT-2와 Llama2 (최대 13B 파라미터) 사전 학습 및 미세 조정 강화 학습 실험에서 강력한 성능을 보여줍니다.

시사점, 한계점

•
시사점:
◦
Adam보다 메모리 및 계산 효율이 높음.
◦
SGD with momentum과 유사한 메모리 및 계산량을 가지면서 더 우수한 성능을 제공.
◦
AdamW의 하이퍼파라미터를 직접 사용 가능하여 적용이 용이함.
◦
모델과 무관하게 사용 가능하며 기존 파이프라인에 쉽게 통합 가능.
◦
이론적 수렴 보장 및 하이퍼파라미터 선택 지침 제공.
◦
GPT-2, Llama2 등 다양한 모델과 과제에서 우수한 성능을 입증.
•
한계점:
◦
논문에서 제시된 실험 결과가 모든 상황에 일반화될 수 있는지는 추가적인 연구가 필요함.
◦
다른 최적화 알고리즘과의 비교 분석이 더욱 심도 있게 이루어져야 함.
◦
특정 유형의 LLM이나 과제에 대해서는 성능이 저하될 가능성이 있음.
👍
Made with Slashpage