Asking Back: Interaction-Layer Antidistillation Watermarks

작성자

Haebom

카테고리

Empty

저자

Guang Yang, Amir Ghasemian, Fengchen Liu, Zhong Wang, Ninareh Mehrabi, Homa Hosseinmardi

💡 개요

본 논문은 대규모 언어 모델(LLM) API에서 발생하는 무단 지식 증류를 탐지하는 어려움을 해결하기 위해, 기존의 출력 토큰 기반 워터마킹 방식의 한계를 극복하는 새로운 접근 방식을 제안합니다. 제안된 "상호작용 계층 반증류 워터마크"는 교사 모델 자체의 행동 양식을 추적하여, 시스템 프롬프트 조작을 통해 의도된 행동 마커를 주입하고 이를 통해 지식 증류 학생 모델이 해당 행동을 상속하는지 탐지합니다.

🔑 시사점 및 한계

•

새로운 워터마킹 계층: 기존의 토큰 레벨을 넘어 교사 모델의 상호작용 행동에 워터마크를 삽입하는 새로운 설계 공간을 제시합니다.

•

강력한 탐지 능력: 다양한 학생 모델 및 패러프레이징 공격에 대해 높은 충실도로 행동 워터마크를 유지하며, 인간 검증 LLM을 활용한 효과적인 탐지 메커니즘을 입증합니다.

•

구현 및 적용 용이성: 교사 모델의 내부 구조에 대한 접근 없이도 시스템 프롬프트만으로 구현 가능하며, 사용자 경험에 미치는 부정적 영향이 미미함을 보여줍니다.

•

한계점/향후 과제:

◦

일부 학생 모델(예: Qwen)에서는 워터마크 전이율이 상대적으로 낮게 나타나, 모든 모델에 대한 일반화 성능 향상이 필요할 수 있습니다.

◦

공격자의 적응형 전략에 대한 지속적인 연구 및 방어 메커니즘의 강화가 요구됩니다.

◦

워터마크의 강도와 탐지 정확도 간의 균형점을 찾는 최적화 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage