"I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts?
Created by
Haebom
저자
Jiazhou Ji, Jie Guo, Weidong Qiu, Zheng Huang, Yang Xu, Xinru Lu, Xiaoyu Jiang, Ruizhe Li, Shujun Li
개요
본 논문은 대규모 언어 모델(LLM)의 오용과 관련된 위험을 고려하여 인간이 작성한 텍스트와 LLM이 생성한 텍스트를 구분하는 문제를 다룹니다. 이를 위해 이진 분류(인간 vs. LLM 생성)와 삼원 분류(미정 클래스 포함) 두 가지 설정에서 현재 LLM의 탐지 및 설명 능력을 조사합니다. 크기가 다양한 6개의 오픈소스 및 클로즈드소스 LLM을 평가한 결과, LLM이 자신의 출력을 식별하는 자기 탐지가 다른 LLM의 출력을 식별하는 교차 탐지보다 일관되게 성능이 우수하지만, 두 경우 모두 최적이 아닌 것으로 나타났습니다. 삼원 분류 프레임워크를 도입하면 모든 모델에서 탐지 정확도와 설명 품질이 향상됩니다. 인간이 주석을 단 데이터 세트를 사용한 포괄적인 정량적 및 정성적 분석을 통해 주로 부정확한 특징, 환각 및 잘못된 추론에 대한 의존과 같은 주요 설명 실패를 확인했습니다. 결과적으로 현재 LLM의 자기 탐지 및 자기 설명의 한계를 강조하고, 과적합 문제를 해결하고 일반화 능력을 향상시키기 위한 추가 연구의 필요성을 강조합니다.
시사점, 한계점
•
시사점: 삼원 분류 프레임워크는 LLM의 텍스트 생성 탐지 정확도와 설명 품질을 향상시킨다. 자기 탐지가 교차 탐지보다 성능이 우수하다.
•
한계점: 현재 LLM의 자기 탐지 및 자기 설명 능력은 부족하다. 부정확한 특징, 환각, 잘못된 추론에 대한 의존으로 인해 설명 실패가 발생한다. LLM의 과적합 문제와 일반화 능력 향상이 필요하다.
