[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Linguistic and Embedding-Based Profiling of Texts generated by Humans and Large Language Models

Created by
  • Haebom

저자

Sergio E. Zanotto, Segun Aroyehun

개요

본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트와 인간이 작성한 텍스트를 형태론, 구문론, 의미론 등 다양한 언어 수준의 특징을 사용하여 특징짓는 연구이다. 8개 도메인에 걸쳐 11개의 LLM이 생성한 텍스트와 인간이 작성한 텍스트 데이터셋을 사용하여 의존 길이, 감정 등의 다양한 언어적 특징을 계산하였다. 통계 분석 결과, 인간이 작성한 텍스트는 더 단순한 구문 구조와 더 다양한 의미 내용을 보이는 경향이 있음을 밝혔다. 또한, 모델과 도메인에 따른 특징의 변동성을 계산하였으며, 인간과 기계 텍스트 모두 도메인에 따라 스타일의 다양성을 보였지만, 인간이 더 큰 변동성을 보였다. 스타일 임베딩을 적용하여 인간이 작성한 텍스트와 기계가 생성한 텍스트의 변동성을 추가적으로 검증하였고, 최신 모델은 유사한 변동성을 보이는 텍스트를 출력하여 기계 생성 텍스트의 동질화를 시사하였다.

시사점, 한계점

시사점:
LLM이 생성한 텍스트와 인간이 작성한 텍스트의 언어적 특징 차이를 다양한 언어 수준에서 분석하여 구체적으로 제시하였다.
LLM 생성 텍스트의 도메인 및 모델 간 스타일 변동성을 분석하여, 최신 모델의 동질화 경향을 밝혔다.
인간 작성 텍스트와 LLM 생성 텍스트의 차이점을 이해하는 데 도움이 되는 다양한 언어적 특징을 제시하였다.
한계점:
사용된 데이터셋의 도메인과 LLM의 종류가 제한적일 수 있다.
분석에 사용된 언어적 특징이 모든 유형의 텍스트 차이를 포착하지 못할 수 있다.
LLM의 발전 속도를 고려할 때, 연구 결과가 장기적으로 유효할지에 대한 검증이 필요하다.
👍