본 논문은 대규모 언어 모델(LLM)의 사전 훈련 손실을 사용하여 하류 성능을 효율적으로 예측하는 새로운 방법인 FLP와 FLP-M을 제안합니다. 기존의 계산 자원(FLOPs) 기반의 스케일링 법칙 분석 대신, 사전 훈련 손실을 중간 지표로 활용하여 계산 자원과 하류 성능 간의 관계를 추정합니다. FLP는 두 단계로 구성되어 있으며, 첫 번째 단계에서는 계산 자원과 사전 훈련 손실 간의 함수를, 두 번째 단계에서는 사전 훈련 손실과 하류 성능 간의 관계를 추정합니다. FLP-M은 다양한 데이터 소스를 사용한 사전 훈련 시나리오를 고려하여, 도메인별 사전 훈련 손실을 예측하고 다중 도메인 손실과 하류 성능 간의 비선형 관계를 모델링합니다. 실험 결과, FLP와 FLP-M은 7B 및 13B 파라미터를 가진 LLM의 성능을 5~10%의 오차 범위 내에서 정확하게 예측하는 것을 보여줍니다.
