본 논문은 대규모 언어 모델(LLM)의 성능 향상이 모델 크기 증가에 따른 손실 감소의 거듭제곱 법칙(neural scaling law)에 기반한다는 점에 주목하여, 이 법칙의 기원을 탐구합니다. 두 가지 경험적 원칙, 즉 LLM이 모델 차원보다 더 많은 것을 표현한다는 점(표현의 중첩)과 언어 내 단어 또는 개념의 출현 빈도가 다르다는 점을 바탕으로, 간단한 모델을 구축하여 모델 크기에 따른 손실의 변화를 연구했습니다. 약한 중첩(가장 빈번한 특징만 표현)의 경우 손실의 크기는 기저 특징의 빈도 분포에 의존하는 반면, 강한 중첩(모든 특징이 표현되지만 서로 겹침)의 경우 손실은 모델 차원에 반비례하는 것을 발견했습니다. 이러한 강건한 크기 변화는 기하학적으로 설명될 수 있으며, 저차원 공간에 더 많은 벡터가 채워질수록 벡터 간 간섭(제곱 중첩)이 차원에 반비례합니다. 실제로 네 가지 오픈소스 LLM을 분석한 결과, 강한 중첩을 보였으며, 본 연구의 간단한 모델 예측과 정량적으로 일치했습니다. 칠린칠라 스케일링 법칙 또한 본 연구 결과와 일치했습니다. 결론적으로, 표현의 중첩은 관찰된 신경 스케일링 법칙의 중요한 메커니즘이며, 이러한 통찰은 더 적은 계산과 매개변수로 더 나은 성능을 달성하기 위한 새로운 훈련 전략과 모델 아키텍처를 고안하는 데 기여할 것으로 예상합니다.
