본 논문은 대규모 언어 모델(LLM) 개발 파이프라인에서 컴퓨팅 최적화 스케일링 법칙이 기술에 따라 다를 수 있는지 여부를 조사합니다. 특히, 지식 기반 QA 및 코드 생성과 같은 지식 및 추론 기반 기술을 검토하여 스케일링 법칙이 기술에 따라 다름을 확인합니다. 다양한 데이터 믹스의 광범위한 에이블레이션을 통해 데이터 믹스 차이를 수정하더라도 지식과 코드는 근본적으로 다른 스케일링 동작을 보임을 밝힙니다. 또한, 검증 세트를 사용하여 표준 컴퓨팅 최적 스케일링과의 관계를 분석하고, 잘못 지정된 검증 세트가 기술 구성에 따라 컴퓨팅 최적 매개변수 수에 거의 50%까지 영향을 미칠 수 있음을 발견합니다.
