본 논문은 2012년부터 2023년까지 AI 훈련의 FLOP 효율성이 22,000배 향상되었다는 기존 추정치에 대해, 실제 기여도를 분석하고, 그 격차를 설명하는 연구 결과를 제시한다. 소규모 제거 실험을 통해 10배 미만의 효율성 향상만을 확인할 수 있었고, 문헌 조사를 통해 추가적인 혁신으로 인한 효율성 향상도 10배 미만으로 추정하여 총 100배 미만의 효율성 향상을 보였다. 이후 스케일링 실험을 통해 효율성 격차의 상당 부분이 스케일에 의존적인 알고리즘의 효율성 향상에서 기인한다는 것을 발견했다. 특히, LSTM과 Transformer의 스케일링 실험에서 compute-optimal scaling law의 지수 차이를 확인했으며, 이를 통해 전체 효율성 향상의 상당 부분을 설명했다. 연구 결과는 알고리즘 효율성 향상이 모델 크기에 따라 달라지며, 기존의 추정보다 작은 모델에 대한 알고리즘 발전이 더디게 이루어졌음을 시사한다.
