Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI

Created by
  • Haebom

저자

Yuxia Wang, Rui Xing, Jonibek Mansurov, Giovanni Puccetti, Zhuohan Xie, Minh Ngoc Ta, Jiahui Geng, Jinyan Su, Mervat Abassy, Saad El Dine Ahmed, Kareem Elozeiri, Nurkhan Laiyk, Maiya Goloburda, Tarek Mahmoud, Raj Vardhan Tomar, Alexander Aziz, Ryuto Koike, Masahiro Kaneko, Artem Shelmanov, Ekaterina Artemova, Vladislav Mikhailov, Akim Tsvigun, Alham Fikri Aji, Nizar Habash, Iryna Gurevych, Preslav Nakov

개요

본 논문은 대규모 언어 모델(LLM)이 생성한 텍스트와 인간이 작성한 텍스트를 구별하는 작업의 어려움에 대한 기존 연구 결과에 대해 9개 언어와 9개 도메인을 포함하는 16개 데이터셋을 이용한 광범위한 연구를 수행하여 검증합니다. 19명의 어노테이터가 평균 87.6%의 탐지 정확도를 달성함으로써, 기존 연구의 결론에 이의를 제기합니다. 인간과 기계 텍스트 간의 주요 차이점은 구체성, 문화적 미묘함 및 다양성에 있다는 것을 발견하였으며, 프롬프트에서 차이점을 명시적으로 설명하는 프롬프팅은 50% 이상의 경우에서 이러한 차이를 부분적으로 해소할 수 있음을 보여줍니다. 그러나 인간이 텍스트의 출처를 명확하게 식별할 수 없는 경우에는 항상 인간이 작성한 텍스트를 선호하지는 않는다는 점도 발견했습니다.

시사점, 한계점

시사점:
인간은 LLM이 생성한 텍스트와 인간이 작성한 텍스트를 상당히 높은 정확도로 구분할 수 있음을 보여줍니다. (평균 87.6% 정확도)
인간과 기계 텍스트 간의 주요 차이점인 구체성, 문화적 미묘함, 다양성에 대한 이해를 제공합니다.
프롬프트 엔지니어링을 통해 인간의 텍스트 탐지 정확도를 향상시킬 수 있는 가능성을 제시합니다.
한계점:
본 연구의 결과가 모든 언어와 도메인에 일반화될 수 있는지에 대한 추가 연구가 필요합니다.
인간의 선호도가 텍스트의 출처에 대한 인식에 영향을 받을 수 있다는 점을 고려해야 합니다.
프롬프트 엔지니어링의 효과가 모든 경우에 일관되지는 않을 수 있습니다.
👍