Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated

Created by
  • Haebom

저자

Tiffany Zhu, Iain Weissburg, Kexun Zhang, William Yang Wang

개요

본 논문은 AI가 생성한 텍스트에 대한 인간의 신뢰가 정확성에 대한 우려를 넘어선 편향에 의해 제한되는지를 탐구합니다. 세 가지 실험(텍스트 수정, 뉴스 기사 요약, 설득력 있는 글쓰기)을 통해 인간 평가자가 라벨이 지정된 콘텐츠와 라벨이 지정되지 않은 콘텐츠에 어떻게 반응하는지 조사했습니다. 맹검 검사에서는 두 유형의 텍스트를 구분할 수 없었지만, "AI 생성"으로 라벨이 지정된 콘텐츠보다 "인간 생성"으로 라벨이 지정된 콘텐츠를 30% 이상 선호하는 것으로 나타났습니다. 라벨을 의도적으로 바꾸었을 때도 같은 패턴이 관찰되었습니다. 이러한 AI에 대한 인간의 편향은 AI 성능을 과소평가하는 등 더 넓은 사회적, 인지적 의미를 지닙니다. 본 연구는 AI와 상호 작용하는 인간 판단의 한계를 강조하고, 특히 창의적인 분야에서 인간-AI 협업을 개선하기 위한 기반을 제공합니다.

시사점, 한계점

시사점: AI 생성 콘텐츠에 대한 인간의 편향이 존재하며, 이는 AI의 실제 성능보다 라벨에 의해 영향을 더 크게 받는다는 것을 보여줍니다. 인간-AI 협업 개선을 위한 연구의 필요성을 강조합니다. 특히 창작 분야에서 AI의 역할과 활용에 대한 사회적 인식 변화가 필요함을 시사합니다.
한계점: 실험 참가자의 특징(나이, 직업, AI에 대한 사전 지식 등)에 따른 편향의 차이에 대한 분석이 부족합니다. 다양한 유형의 AI 생성 콘텐츠와 더욱 다양한 평가 방법을 적용한 추가 연구가 필요합니다. 단순히 라벨에 의한 편향만을 다루었고, 콘텐츠 자체의 질적 차이에 따른 평가 결과의 영향은 충분히 고려되지 않았을 수 있습니다.
👍