본 논문은 대규모 언어 모델(LLM) 개발 파이프라인에서 컴퓨팅 최적화 스케일링 법칙이 기술에 따라 다르게 나타나는지를 조사합니다. 지식 기반 QA 및 코드 생성과 같은 지식 및 추론 기반 기술을 중점적으로 분석하여, 스케일링 법칙이 기술에 의존적임을 확인했습니다. 다양한 데이터 믹스에 대한 광범위한 분석을 통해 데이터 믹스 차이를 보정하더라도 지식과 코드는 근본적으로 다른 스케일링 동작을 보임을 밝혔습니다. 또한, 검증 집합을 사용하여 표준 컴퓨팅 최적 스케일링과의 관계를 분석하여 검증 집합의 잘못된 사양이 기술 구성에 따라 컴퓨팅 최적 매개변수 수에 거의 50%까지 영향을 미칠 수 있음을 발견했습니다.
