본 논문은 대규모 언어 모델(LLM)의 출처 식별을 위한 새로운 지문 인식 방법인 FDLLM과 이를 위한 이중 언어 지문 인식 벤치마크 데이터셋인 FD-Dataset을 제시합니다. 기존 LLM 지문 인식의 어려움인 전용 데이터셋 부족과 효율적인 방법의 필요성을 해결하기 위해, 20개의 유명한 독점 및 오픈소스 LLM로부터 생성된 9만 개의 텍스트 샘플을 포함하는 FD-Dataset을 구축하고, 저차원 적응(LoRA)을 이용하여 기반 모델을 미세 조정하는 FDLLM을 개발했습니다. FDLLM은 LoRA를 통해 각 출처 LLM을 특징짓는 심층적이고 지속적인 특징을 추출하여, 동일한 LLM의 출력을 표현 공간에서 집합시키고 서로 다른 LLM 간의 분리를 향상시킵니다. 실험 결과, FDLLM은 기존 최고 성능 방법보다 Macro F1 점수가 22.1% 높았으며, 새로운 모델에 대한 평균 정확도는 95%에 달했습니다. 또한, 다양한 적대적 공격(다듬기, 번역, 동의어 치환 등)에 대해 강력한 견고성을 보였습니다.
시사점, 한계점
•
시사점:
◦
LLM 출처 식별을 위한 효과적이고 견고한 새로운 방법(FDLLM)과 대규모 이중 언어 데이터셋(FD-Dataset) 제공
◦
LoRA 기반의 미세 조정 기법이 LLM 지문 인식에 효과적인 이유를 제시
◦
다양한 적대적 공격에 대한 강인성을 입증
◦
새로운 LLM에 대한 높은 일반화 성능을 보임
•
한계점:
◦
FD-Dataset의 LLM 종류 및 샘플 수의 제한으로 인한 일반화 성능의 한계 존재 가능성
