CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs
Created by
Haebom
저자
Guoheng Sun, Ziyao Wang, Bowei Tian, Meng Liu, Zheyu Shen, Shwai He, Yexiao He, Wanghao Ye, Yiting Wang, Ang Li
개요
본 논문은 사후 훈련 기법의 발전으로 복잡한 작업에서 우수한 성능을 보이는 추론 강화형 대규모 언어 모델(LLM)이 증가하고 있지만, 서비스 제공업체들이 비용 절감과 독점 기술 보호를 위해 추론 과정을 숨기는 현실에 주목합니다. 이로 인해 사용자는 보이지 않는 추론 토큰에 대한 비용을 지불하지만, 그 진위 여부를 확인할 수 없는 투명성의 공백이 발생합니다. 이에 논문에서는 토큰 수의 인플레이션(과다 보고 또는 저품질 토큰 주입)을 탐지하기 위해 토큰 수량과 의미적 유효성을 감사하는 검증 프레임워크인 CoIn을 제안합니다. CoIn은 토큰 임베딩 지문으로부터 검증 가능한 해시 트리를 구성하여 토큰 수를 확인하고, 임베딩 기반 관련성 매칭을 사용하여 조작된 추론 내용을 감지합니다. 실험 결과, CoIn은 최대 94.7%의 성공률로 토큰 수 인플레이션을 효과적으로 감지하여 불투명한 LLM 서비스의 청구 투명성을 회복하는 강력한 능력을 보여줍니다. 소스 코드와 데이터셋은 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
불투명한 LLM 서비스의 청구 투명성 확보를 위한 실질적인 해결책 제시
◦
CoIn 프레임워크를 통해 토큰 수 인플레이션을 효과적으로 감지 가능 (최대 94.7% 성공률)
◦
LLM 서비스 제공업체의 책임성 강화 및 사용자 보호에 기여
◦
공개된 코드와 데이터셋을 통해 추가 연구 및 개발 가능
•
한계점:
◦
CoIn의 효과는 제안된 방법론에 사용된 특정 임베딩 기법 및 데이터셋에 의존적일 수 있음.
◦
실제 서비스 환경에서의 다양한 공격 유형에 대한 로버스트니스(Robustness) 추가 검증 필요.
