Ghost in the Transformer: Tracing LLM Lineage with SVD-Fingerprint
Created by
Haebom
Category
Empty
저자
Suqing Wang, Ziyang Ma, Xinyi Li, Zuchao Li
개요
본 논문은 대규모 언어 모델(LLM)의 급속한 발전에 따라, 모델의 출처를 검증하는 효과적인 방법인 GhostSpec을 제안합니다. GhostSpec은 모델 훈련 데이터 접근이나 모델 동작 변경 없이, 내부 어텐션 가중치 행렬에 특이값 분해(SVD)를 적용하여 모델의 구조적 정체성을 포착하는 콤팩트하고 강력한 지문을 생성합니다. 이는 데이터가 필요 없고, 비침습적이며, 계산 효율적입니다.
