Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Retracing the Past: LLMs Emit Training Data When They Get Lost

Created by
  • Haebom
Category
Empty

저자

Myeongseob Ko, Nikhil Reddy Billa, Adam Nguyen, Charles Fleming, Ming Jin, Ruoxi Jia

개요

대규모 언어 모델(LLM)의 훈련 데이터 암기는 심각한 프라이버시 및 저작권 문제를 야기한다. 본 논문은 모델 불확실성을 체계적으로 최대화하여 암기된 데이터를 추출하는 원리 기반 프레임워크인 혼동 유발 공격(CIA)을 소개한다. 모델 불확실성을 유도하는 입력 스니펫을 최적화하고, 정렬된 LLM의 경우 정렬을 약화시키고 대상 혼동을 유발하는 부적합한 지도 학습 미세 조정(Mismatched SFT)을 제안한다. 다양한 정렬 및 비정렬 LLM에 대한 실험 결과, CIA가 기존 기법보다 훈련 데이터의 정확한, 또는 거의 정확한 추출에 더 효과적임을 입증했다.

시사점, 한계점

시사점:
LLM에서 지속적인 암기 위험을 확인했다.
암기 취약성을 평가하는 보다 체계적인 방법을 제시했다.
모델 불확실성을 활용한 새로운 공격 기법을 개발했다.
정렬된 LLM에 대한 공격 기법을 개선했다.
한계점:
논문에서 구체적인 한계점이 명시되지 않음. (논문 내용을 바탕으로 유추할 수 있는 한계점은 제시되지 않음.)
👍