본 논문은 대규모 언어 모델 사전 학습의 알고리즘 혁신이 특정 성능 수준에 도달하는 데 필요한 총 연산량을 크게 줄였다는 점을 바탕으로, 알고리즘 혁신 개발에 필요한 연산량을 실증적으로 조사한 연구이다. Llama 3와 DeepSeek-V3에 사용된 36가지 사전 학습 알고리즘 혁신을 분류하고, 각 혁신에 사용된 총 FLOP와 활용된 하드웨어의 FLOP/s를 추정했다. 그 결과, 상당한 자원을 사용하는 혁신은 매년 요구 사항이 두 배로 증가하는 것으로 나타났다. 이 데이터셋을 사용하여 연산량 제한이 혁신에 미치는 영향을 조사했으며, 연산량 제한만으로는 AI 알고리즘 발전을 크게 늦출 수 없다는 결론을 제시한다.
