Can We Trust LLM Detectors?

Created by

Haebom

저자

Jivnesh Sandhan, Harshit Jaiswal, Fei Cheng, Yugo Murawaki

💡 개요

본 논문은 대규모 언어 모델(LLM) 탐지기의 신뢰성에 대한 근본적인 문제를 제기합니다. 기존의 훈련 없이 사용하는 방식과 지도 학습 방식 모두 분포 변화, 새로운 생성 모델, 미묘한 문체 변화에 취약함을 실험적으로 입증했습니다. 이러한 한계를 극복하기 위해, 본 연구는 차별적인 스타일 임베딩을 학습하는 지도 학습 기반 대조 학습(SCL) 프레임워크를 제안합니다.

🔑 시사점 및 한계

•

지도 학습 기반 탐지기는 특정 도메인 내에서는 우수하지만, 도메인 외 데이터에서는 성능이 급격히 저하되는 한계가 있습니다.

•

훈련 없이 사용하는 방식은 프록시 선택에 여전히 매우 민감하며, 이는 일반적인 LLM 탐지기의 근본적인 도전 과제임을 시사합니다.

•

도메인에 구애받지 않는 LLM 탐지기를 구축하는 데 있어 해결해야 할 근본적인 어려움이 존재하며, 이에 대한 지속적인 연구가 필요합니다.

PDF 보기

Made with Slashpage