최근 언어 모델의 발전은 값비싼 모델의 사용에 의존하는 경향이 있으며, 이는 실질적인 성능 향상을 왜곡할 수 있다. 본 연구는 인공 분석 및 Epoch AI의 데이터를 활용하여 대규모 가격 데이터를 구축하고, 이를 기반으로 벤치마크를 수행하여 모델 가격 대비 성능 변화를 분석했다. 지식, 추론, 수학, 소프트웨어 엔지니어링 벤치마크에서 최첨단 모델의 가격 대비 성능이 연간 5~10배 가량 빠르게 감소하는 것을 확인했다. 이러한 가격 감소는 경제적 요인, 하드웨어 효율성 개선, 알고리즘 효율성 개선에 기인하며, 알고리즘 효율성은 연간 약 3배 향상되는 것으로 추정된다. 연구 결과는 AI의 실질적인 영향력을 측정하기 위해 벤치마킹 가격을 공개하고 고려할 것을 제안한다.
