Auditing Pay-Per-Token in Large Language Models
Created by
- Haebom
Category
Empty
저자
Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez
💡 개요
본 논문은 대규모 언어 모델(LLM) 제공업체가 토큰 사용량을 부정확하게 보고하여 이익을 취하는 문제를 다룹니다. 이를 해결하기 위해 마틴게일 이론에 기반한 감사 프레임워크를 제안하며, 이는 신뢰할 수 있는 제3자 감사인이 제공업체의 토큰 부정 보고를 탐지할 수 있도록 합니다. 제안된 프레임워크는 제공업체의 부정 보고 정책에 상관없이 항상 이를 탐지하고, 성실한 제공업체를 잘못 신고할 확률을 낮게 유지하는 보장된 성능을 보여줍니다.
🔑 시사점 및 한계
•
LLM 제공업체의 토큰 사용량 부정 보고 가능성을 탐지하는 실질적인 감사 방법론을 제시합니다.
•
마틴게일 이론을 활용하여 부정 보고 탐지의 이론적 보장성을 확보하고, 오탐률을 낮춥니다.
•
Llama, Gemma, Mistral 등 다양한 LLM 모델과 실제 사용자 프롬프트를 대상으로 실험하여 프레임워크의 효과를 입증했습니다.
•
감사 프레임워크는 약 70개 미만의 보고된 출력으로도 부정직한 제공업체를 탐지할 수 있으며, 성실한 제공업체에 대한 오탐 확률을 0.05 미만으로 유지합니다.
•
한계점으로는 제안된 감사 프레임워크가 모든 종류의 잠재적인 LLM 제공업체 부정행위를 포괄하는지에 대한 추가적인 연구가 필요할 수 있으며, 실제 감사 환경에 적용하기 위한 확장성 및 효율성에 대한 검증이 필요할 수 있습니다.
