Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives

Created by
  • Haebom

저자

Ander Artola Velasco, Stratis Tsirtsis, Nastaran Okati, Manuel Gomez-Rodriguez

개요

본 논문은 대규모 언어 모델(LLM)의 클라우드 기반 서비스에서 사용되는 토큰당 가격 책정 메커니즘의 취약성을 분석합니다. 현재의 토큰 기반 가격 책정은 서비스 제공자가 모델이 생성하는 출력에 사용된 토큰 수를 허위 보고하여 이익을 극대화할 유인을 제공하며, 사용자는 이를 검증할 방법이 없습니다. 논문에서는 이러한 문제를 증명하고, 서비스 제공자가 의심을 받지 않고 과금하는 효율적인 휴리스틱 알고리즘을 제시합니다. 또한, 이러한 유인을 제거하기 위해서는 토큰의 문자 수에 선형적으로 가격을 책정해야 함을 보여주고, 이를 통해 평균 이윤을 유지하는 방법을 제안합니다. Llama, Gemma, Ministral 계열의 여러 LLM과 LMSYS Chatbot Arena 플랫폼의 프롬프트를 사용한 실험 결과를 통해 이론적 결과를 보완합니다.

시사점, 한계점

시사점:
현재의 토큰당 가격 책정 메커니즘은 LLM 서비스 제공자의 과금 조작에 대한 취약성을 노출합니다.
토큰의 문자 수에 선형적으로 가격을 책정하는 것이 과금 조작 유인을 제거하는 효과적인 방법임을 제시합니다.
제공자가 기존 이윤을 유지하면서도 인센티브 호환적인 가격 책정 메커니즘을 채택할 수 있는 방법을 제시합니다.
한계점:
제시된 휴리스틱 알고리즘은 과금 조작을 완벽하게 방지하지 못하며, 제공자의 전략적 행위에 대한 완벽한 해결책은 아닙니다.
실험은 특정 LLM과 프롬프트에 한정되어 있으며, 일반화 가능성에 대한 추가 연구가 필요합니다.
토큰의 문자 수에 선형적으로 가격을 책정하는 방식이 모든 상황에서 실용적인지에 대한 추가적인 고려가 필요합니다.
👍