Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives

Created by
  • Haebom

저자

Ander Artola Velasco, Stratis Tsirtsis, Nastaran Okati, Manuel Gomez-Rodriguez

개요

본 논문은 대규모 언어 모델(LLM) 기반 클라우드 서비스에서 토큰 기반 과금 방식의 취약성을 지적한다. 현재의 토큰당 가격 책정은 서비스 제공자가 모델이 생성하는 데 사용한 토큰 수를 조작하여 과금할 유인을 제공하며, 사용자는 이를 검증할 수 없다는 것이다. 논문은 이러한 문제를 해결하기 위해, 모델의 생성 과정에 대한 투명성을 강화하거나, 문자 기반 과금 방식으로 전환하는 것을 제안한다. 또한, 제공자의 과금 조작을 위한 효율적인 휴리스틱 알고리즘을 제시하고, Llama, Gemma, Ministral 계열의 LLM과 LMSYS Chatbot Arena 플랫폼의 프롬프트를 사용한 실험 결과를 통해 이론적 결과를 보완한다.

시사점, 한계점

시사점:
토큰 기반 과금 방식의 취약성을 밝히고, 서비스 제공자의 과금 조작 가능성을 제시한다.
문자 기반 과금 방식을 대안으로 제시하여, 인센티브 호환적인 가격 책정 메커니즘을 제안한다.
LLM 서비스 제공자의 투명성 확보의 중요성을 강조한다.
한계점:
제안된 휴리스틱 알고리즘은 완벽한 과금 조작 방지책이 아니며, 일부 상황에서 제공자의 과금 조작이 가능할 수 있다.
문자 기반 과금 방식이 모든 상황에서 토큰 기반 과금 방식보다 효율적이거나 적절한지는 추가 연구가 필요하다.
실험은 특정 LLM과 프롬프트에 국한되어 일반화에 제한이 있을 수 있다.
👍