Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

WaterMod: Modular Token-Rank Partitioning for Probability-Balanced LLM Watermarking

Created by
  • Haebom
Category
Empty

저자

Shinwoo Park, Hyejin Park, Hyeseon Ahn, Yo-Sub Han

개요

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 워터마크 기술인 WaterMod를 소개합니다. WaterMod는 EU AI Act와 같은 규제를 준수하기 위해 텍스트에 감지 가능하고 기계적으로 검증 가능한 마크를 삽입합니다. 기존의 워터마크 기술은 문장의 유창성을 저해할 수 있는 단점을 보완하기 위해, WaterMod는 확률 기반의 모듈식 규칙을 사용하여 고품질의 텍스트 생성을 유지하면서 워터마크를 삽입합니다. 특히, 어휘를 확률에 따라 정렬하고, 순위에 모듈 연산을 적용하여 의미적으로 유사한 토큰들을 다른 클래스에 분산시킵니다. zero-bit 설정(k=2)에서는 엔트로피 적응형 게이트를 사용하여 워터마크를 삽입하고, multi-bit 설정(k>2)에서는 각 디코딩 단계마다 하나의 base-k 숫자를 삽입하여 정교한 추적이 가능하도록 합니다. 다양한 실험을 통해 WaterMod가 생성 품질을 유지하면서 강력한 워터마크 탐지 성능을 보임을 입증했습니다.

시사점, 한계점

•
시사점:
◦
LLM 생성 텍스트의 출처를 추적하고, 규제 준수를 가능하게 함.
◦
기존 워터마크 기술의 유창성 저하 문제를 완화하여 텍스트 품질을 유지함.
◦
binary attribution과 multi-bit payload를 모두 지원하여 유연성을 제공함.
◦
자연어 생성, 수학적 추론, 코드 생성 등 다양한 task에서 일관된 성능을 보임.
◦
오픈 소스 코드 및 데이터 제공.
•
한계점:
◦
논문 자체에서 구체적인 한계점 언급은 없음.
👍
Made with Slashpage