Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Cost-Benefit Analysis of On-Premise Large Language Model Deployment: Breaking Even with Commercial LLM Services

Created by
  • Haebom
Category
Empty

저자

Guanzhong Pan, Vishal Chodnekar, Abinas Roy, Haibo Wang

개요

대규모 언어 모델(LLM)이 널리 사용되면서, 생산성 향상을 위해 AI를 활용하려는 조직은 상업용 LLM 서비스 구독 또는 자체 인프라에 모델 배포 중에서 선택해야 한다. 이 논문은 조직이 상업용 구독 서비스와 비교하여 자체 구축 LLM 배포가 경제적으로 실행 가능한 시점을 결정하는 데 도움을 주는 비용 편익 분석 프레임워크를 제시한다. Qwen, Llama, Mistral 등 최신 오픈 소스 모델의 하드웨어 요구 사항, 운영 비용 및 성능 벤치마크를 고려하고, 이러한 모델을 로컬에 배포하는 총 비용을 주요 클라우드 제공 업체의 구독료와 비교 분석한다.

시사점, 한계점

조직의 LLM 전략 계획을 위한 실질적인 프레임워크 제공
사용량 및 성능 요구 사항을 기반으로 추정된 손익분기점 제시
데이터 개인 정보 보호, 서비스 제공 업체 전환의 어려움, 장기적인 운영 비용에 대한 관심 반영
분석에 포함된 모델 및 클라우드 서비스 제공 업체의 제한적인 범위
특정 하드웨어 환경 및 운영 환경에 따라 결과가 달라질 수 있음
지속적인 모델 업데이트 및 기술 발전에 따른 재평가 필요
👍