본 논문은 대규모 언어 모델(LLM) 개발 파이프라인에서 컴퓨팅 최적화 스케일링 법칙이 기술에 따라 다를 수 있는지 여부를 조사합니다. 지식 기반 QA 및 코드 생성과 같은 지식 및 추론 기반 기술을 중점적으로 연구하여 스케일링 법칙이 기술에 따라 다르다는 것을 확인했습니다. 또한, 다양한 데이터 믹스에 대한 광범위한 분석을 통해 데이터 믹스의 차이를 수정하더라도 지식과 코드는 근본적으로 다른 스케일링 동작을 보인다는 것을 발견했습니다. 마지막으로, 검증 세트를 사용하여 표준 컴퓨팅 최적 스케일링과 연구 결과의 관계를 분석하여 검증 세트의 잘못된 지정이 기술 구성에 따라 컴퓨팅 최적 매개변수 수에 약 50%의 영향을 미칠 수 있음을 밝혔습니다.
