Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

AI-generated Text Detection: A Multifaceted Approach to Binary and Multiclass Classification

Created by
  • Haebom

저자

Harika Abburi, Sanmitra Bhattacharya, Edward Bowen, Nirmala Pudota

개요

본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트의 탐지 및 생성 모델 식별에 초점을 맞추고 있습니다. AAAI 2025 Defactify 워크샵의 AI 생성 텍스트 탐지 공유 과제에서 제시된 두 가지 하위 과제(Task A: 인간 작성 텍스트와 AI 생성 텍스트 구분, Task B: 생성 원본 언어 모델 식별)를 다루었습니다. 각 과제에 대해 최적화된 모델과 단순화된 모델 두 가지 신경망 구조를 제안하여, Task A에서는 최적화된 모델이 0.994의 F1 점수로 5위를, Task B에서는 단순화된 모델이 0.627의 F1 점수로 5위를 달성했습니다.

시사점, 한계점

•
시사점:
◦
제안된 신경망 구조가 AI 생성 텍스트 탐지 및 생성 모델 식별 과제에서 상당한 성능을 보임을 확인.
◦
Task A와 Task B 모두에 대해 효과적인 모델을 제시하여, 다양한 상황에서 LLM 생성 텍스트 탐지를 위한 실용적인 방법 제시.
•
한계점:
◦
Task B의 F1 점수(0.627)가 Task A(0.994)에 비해 상대적으로 낮아, 생성 모델 식별의 어려움을 시사.
◦
최고 성능 모델과의 성능 차이를 분석하고 개선 방향을 제시할 필요가 있음.
◦
다양한 LLM과 데이터셋에 대한 일반화 성능 평가가 부족.
👍
Made with Slashpage