Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection
Created by
Haebom
Category
Empty
저자
Ryan Marinelli, Josef Pichlmeier, Tamas Bisztray
개요
본 논문은 대규모 언어 모델(LLM)의 생산 환경에서 작업의 난이도를 결정하기 위한 지표인 '생각의 수(Number of Thoughts, NofT)'를 제안합니다. NofT를 기반으로 임계값을 설정하여 프롬프트의 난이도를 구분하고 보다 효과적인 프롬프트 라우팅을 지원합니다. MathInstruct 데이터셋의 프롬프트를 17억, 70억, 140억 파라미터의 양자화 및 증류된 Deepseek 버전을 통해 라우팅할 때 지연 시간이 2% 감소하는 결과를 얻었습니다. 또한, NofT는 프롬프트 주입 공격에 사용되는 적대적 프롬프트를 높은 효율로 탐지하는 데 사용될 수 있으며, 95%의 정확도를 달성하는 분류기를 구축하는 데 활용될 수 있습니다. 실험 데이터와 사용된 데이터셋은 GitHub(https://github.com/rymarinelli/Number_Of_Thoughts/tree/main)에서 확인 가능합니다.
시사점, 한계점
•
시사점:
◦
LLM의 프롬프트 난이도를 효과적으로 측정하는 새로운 지표(NofT) 제시
◦
NofT 기반 프롬프트 라우팅을 통한 LLM 성능 향상 (지연 시간 2% 감소)
◦
NofT를 활용한 적대적 프롬프트 탐지 시스템 구축 가능 (95% 정확도 달성)
◦
LLM의 효율적 운영 및 보안 강화에 기여
•
한계점:
◦
NofT 지표의 일반화 성능 및 다양한 LLM 및 데이터셋에 대한 적용 가능성에 대한 추가 연구 필요
◦
NofT 지표 계산의 계산 비용 및 효율성에 대한 분석 필요
◦
특정 데이터셋 및 LLM에 대한 결과이며, 다른 환경에서의 일반화 가능성에 대한 검증 필요
