Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

UTF:Undertrained Tokens as Fingerprints A Novel Approach to LLM Identification

Created by
  • Haebom

저자

Jiacheng Cai, Jiahao Yu, Yangguang Shao, Yuhang Wu

개요

본 논문은 대규모 언어 모델(LLM)의 지문 생성을 위한 효율적인 새로운 방법인 UTF(Under-Trained Fingerprinting)를 제안합니다. 기존의 지문 생성 방법들은 상당한 계산 비용이 들거나, 모델 내부 구조에 대한 접근 권한이 필요한 경우가 많았습니다. UTF는 모델 학습 과정에서 완전히 학습되지 않은 토큰(Under-trained tokens)을 활용하여 지문을 생성합니다. 특정 입력-출력 쌍을 모델에 삽입하기 위해 이러한 토큰들을 이용하여 감독 학습 방식의 미세 조정을 수행합니다. 이를 통해 LLM은 특정 입력이 주어졌을 때 미리 정해진 출력을 생성하여 고유한 지문을 효과적으로 삽입할 수 있습니다. UTF는 모델 성능에 미치는 영향이 최소화되고, 모델 내부 구조 접근 없이도 소유자 식별이 가능하며, 기존 방법들보다 미세 조정 및 임의 추측에 더 강건합니다.

시사점, 한계점

시사점:
LLM 지문 생성에 대한 효율적이고, 모델 성능 저하가 적은 새로운 방법 제시
모델 내부 구조 접근 없이도 지문 생성 가능
기존 방법보다 미세 조정 및 임의 추측에 강건함
모델 소유권 확인 및 위변조 방지에 활용 가능
한계점:
Under-trained tokens의 존재 및 활용 가능성에 대한 추가적인 연구 필요
다양한 LLM 아키텍처 및 크기에 대한 일반화 성능 검증 필요
실제 악의적인 공격에 대한 robusteness에 대한 추가적인 실험 필요
UTF를 우회하는 새로운 공격 기법에 대한 취약성 분석 필요
👍