The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More

작성자

Haebom

카테고리

Empty

저자

Lingjiao Chen, Chi Zhang, Yeye He, Ion Stoica, Matei Zaharia, James Zou

💡 개요

본 연구는 추론 모델(RM)의 API 가격이 실제 추론 비용을 얼마나 정확하게 반영하는지에 대한 첫 번째 체계적인 연구를 수행했습니다. 12가지 다양한 작업에서 8개의 최첨단 RM을 평가한 결과, 32%의 모델 쌍에서 더 저렴하게 표시된 가격의 모델이 실제로는 더 높은 총 비용을 유발하는 '가격 역전 현상'을 발견했습니다. Shapley 값을 기반으로 한 비용 기여도 분석 프레임워크를 구축하여, 모델 간 사고 토큰 소비량과 상호작용 턴 수의 상당한 차이를 규명했습니다.

🔑 시사점 및 한계

•

API에 명시된 가격은 실제 추론 비용을 예측하는 데 신뢰할 수 없는 지표이며, 사용자들은 비용 인식 모델 선택을 고려해야 합니다.

•

추론 모델의 비용 불균일성은 주로 사고 토큰 소비량과 환경 상호작용 턴 수에서 기인합니다.

•

동일한 쿼리에 대한 반복 실행 시에도 상당한 비용 변동성이 존재하여, 단일 쿼리의 비용 예측은 근본적으로 어려우며, '비용 분포 예측'을 새로운 연구 과제로 제시합니다.

PDF 보기

Made with Slashpage