LLMs Have Rhythm: Fingerprinting Large Language Models Using Inter-Token Times and Network Traffic Analysis
Created by
- Haebom
Category
Empty
저자
Saeif Alhazbi, Ahmed Mohamed Hussain, Gabriele Oligeri, Panos Papadimitratos
개요
본 논문은 다양한 도메인과 산업 전반의 기술 생태계에 점점 더 많이 통합되고 있는 거대 언어 모델(LLM)의 출처를 식별하는 새로운 방법을 제시한다. 기존의 검증 방법들은 생성된 출력을 분석하여 원본 모델을 확인하는 방식이었지만, 적대적 공격에 취약하고 사후적으로 작동하며, 검증 가능한 지문을 주입하기 위해 모델 가중치에 대한 접근이 필요할 수 있다는 한계가 있었다. 본 논문에서는 네트워크 트래픽이 암호화된 상태에서도 실시간으로 작동하며 효과적인 수동적이고 비침습적인 지문 기술을 제안한다. 이 방법은 언어 모델의 고유한 자기회귀적 생성 특성을 활용하여, 연속적인 토큰 사이의 시간 간격(ITT)을 측정함으로써 서로 다른 언어 모델을 높은 정확도로 식별한다. 딥러닝 파이프라인을 개발하여 네트워크 트래픽 분석을 통해 이러한 시간 패턴을 포착하고, 다양한 배포 시나리오(로컬 호스트 머신, LAN, 원격 네트워크, VPN)에서 16개의 소형 언어 모델(SLM)과 10개의 독점 LLM을 사용하여 평가하였다. 실험 결과는 제안된 기술이 다양한 네트워크 조건에서도 높은 정확도를 유지하며 효과적임을 확인하였다.
시사점, 한계점
•
시사점:
◦
실시간, 비침습적, 수동적 방식으로 LLM의 출처를 식별하는 새로운 기술 제시.
◦
암호화된 네트워크 트래픽 환경에서도 높은 정확도 유지.
◦
다양한 네트워크 환경(로컬, LAN, 원격, VPN)에서의 효과성 검증.
◦
LLM 배포의 보안 및 신뢰성 향상에 기여.
◦
실제 환경에서의 모델 식별을 위한 새로운 가능성 제시.
•
한계점:
◦
본 논문에서 사용된 LLM의 종류와 규모가 제한적일 수 있음. (16개 SLM과 10개 독점 LLM)
◦
다양한 유형의 적대적 공격에 대한 내성을 추가적으로 검증할 필요가 있음.
◦
ITT 측정에 영향을 미칠 수 있는 네트워크 지연이나 시스템 오류 등의 외부 요인에 대한 고려가 필요함.
