Ward: Provable RAG Dataset Inference via LLM Watermarks

Wed, 26 Feb 2025 05:49:29 GMT

### 저자

Nikola Jovanovic, Robin Staab, Maximilian Baader, Martin Vechev

### 개요

본 논문은 대규모 언어 모델(LLM)이 외부 데이터를 쉽게 통합하는 RAG(Retrieval Augmented Generation)의 데이터 무단 사용 문제에 대한 해결책을 제시한다. RAG-DI(RAG Dataset Inference)라는 새로운 문제 정의를 제시하고, 현실적인 벤치마킹을 위한 새로운 데이터셋과 기준 모델들을 소개한다. 또한, LLM 워터마킹 기반의 RAG-DI 방법인 Ward를 제안하며, 이 방법이 기존 방법들보다 높은 정확도, 효율성, 그리고 강건성을 보임을 실험적으로 증명한다. Ward는 데이터 소유자에게 데이터셋의 RAG 코퍼스 내 오용에 대한 엄격한 통계적 보장을 제공한다. 본 연구는 RAG-DI에 대한 향후 연구의 기반을 제공하고, LLM 워터마킹을 유망한 접근법으로 제시한다.

### 시사점, 한계점

- **시사점:**

- RAG의 데이터 무단 사용 문제에 대한 새로운 정의(RAG-DI)와 벤치마킹을 위한 데이터셋 제공.

- LLM 워터마킹 기반의 효과적인 RAG-DI 방법(Ward) 제시.

- Ward는 높은 정확도, 효율성, 강건성을 보이며 기존 방법들을 능가함.

- 데이터 소유자에게 데이터셋 오용에 대한 엄격한 통계적 보장 제공.

- LLM 워터마킹을 RAG-DI 문제 해결에 대한 유망한 접근법으로 제시.

- **한계점:**

- 제안된 데이터셋과 방법론의 일반화 가능성에 대한 추가 연구 필요.

- 다양한 RAG 시스템 및 워터마킹 기법에 대한 robustness 평가가 추가적으로 필요할 수 있음.

- 실제 환경에서의 성능 평가 및 적용에 대한 추가 연구 필요.

- 블랙박스 환경에 대한 가정이 실제 환경과의 차이를 야기할 수 있음.

[PDF 보기](https://arxiv.org/pdf/2410.03537)