본 논문은 LLM(Large Language Model)의 성능-비용 절충 문제를 경제적 관점에서 평가하는 새로운 프레임워크를 제시한다. 기존의 Pareto 최적 전선 접근 방식은 서로 다른 강점과 약점을 가진 LLM(예: 저렴하지만 오류가 많은 모델 vs. 비싸지만 정확한 모델)을 비교하는 데 한계가 있다는 점을 지적하며, 오류 비용, 지연 비용, 질의 거부 비용 등을 고려하여 LLM의 성능을 단일 경제적 지표로 정량화하는 방법을 제안한다. MATH 벤치마크의 어려운 질문을 사용하여 추론 모델과 비추론 모델을 비교 분석한 결과, 오류 비용이 0.01달러를 넘어서면 추론 모델이 더 나은 성능-비용 절충안을 제공하며, 오류 비용이 0.1달러 수준일 때는 단일 대형 LLM이 캐스케이드 모델보다 성능이 우수하다는 것을 발견했다. 결론적으로, AI 모델을 이용해 의미 있는 인간의 작업을 자동화할 때는 AI 배포 비용보다는 AI 오류의 경제적 영향이 훨씬 크기 때문에 가능한 가장 강력한 모델을 사용하는 것이 일반적으로 더 효율적임을 시사한다.
