본 논문은 대규모 언어 모델(LLM)의 성공 요인 중 하나인 스케일링 법칙에 대한 이해를 심화시키는 연구 결과를 제시합니다. OpenAI가 발견한 스케일링 법칙은 Transformer 아키텍처를 기반으로 한 모델에서 테스트 손실이 모델 크기, 데이터셋 크기, 학습에 사용된 계산량에 따라 거듭제곱 법칙 관계를 보인다는 것을 보여줍니다. 이는 기존 기계 학습의 지식, 특히 과대 매개변수화된 알고리즘이 과적합되어 테스트 성능이 저하된다는 Oscar Scissors 원칙에 대한 도전 과제를 제시합니다. 본 연구는 선형 회귀보다 훨씬 표현력이 뛰어나고 강력한 다중 회귀 및 커널 회귀 설정에서도 스케일링 법칙 현상이 확장됨을 보여줌으로써 LLM에 대한 이해를 높이는 데 기여합니다.
