Collaborative Evaluation of Deepfake Text with Deliberation-Enhancing Dialogue Systems
Created by
- Haebom
Category
Empty
저자
Jooyoung Lee, Xiaochen Zhu, Georgi Karadzhov, Tom Stafford, Andreas Vlachos, Dongwon Lee
개요
본 논문은 생성 모델의 확산으로 인해 인간이 작성한 콘텐츠와 딥페이크 콘텐츠를 구분하는 어려움이 증가하는 상황에서, AI 도구를 활용한 인간의 협업적 노력이 효과적인 해결책이 될 수 있음을 제시합니다. DeepFakeDeLiBot이라는 숙의 강화 챗봇을 활용하여 딥페이크 텍스트 탐지 그룹의 잠재력을 탐구한 결과, 개별적인 노력보다 그룹 기반 문제 해결이 기계 생성 단락 식별 정확도를 크게 향상시킨다는 것을 발견했습니다. DeepFakeDeLiBot의 사용이 전반적인 성능 향상에는 큰 영향을 미치지 않았지만, 참여도 증가, 합의 형성, 추론 기반 발언의 빈도 및 다양성 증가를 통해 그룹 역학을 향상시켰습니다. 또한, 그룹 협업의 효과를 높게 평가한 참여자들은 DeepFakeDeLiBot으로부터 성능 향상 효과를 보였습니다. 이러한 결과는 숙의 챗봇이 협업적 딥페이크 텍스트 탐지의 정확성을 보장하는 동시에 상호 작용적이고 생산적인 그룹 역학을 촉진할 수 있는 잠재력을 강조합니다.
시사점, 한계점
•
시사점:
◦
그룹 기반 문제 해결이 딥페이크 텍스트 탐지 정확도 향상에 효과적임을 확인.
◦
DeepFakeDeLiBot은 그룹 참여도, 합의 형성, 추론 기반 발언 증가에 기여.
◦
그룹 협업의 효과를 높게 평가하는 참여자에게 DeepFakeDeLiBot이 더 효과적임.
◦
숙의 챗봇이 협업적이고 생산적인 그룹 역학을 촉진하는 데 유용함을 시사.
•
한계점:
◦
DeepFakeDeLiBot의 전반적인 성능 향상 효과는 제한적임.
◦
데이터셋과 소스 코드는 논문 채택 후 공개될 예정임. (현재 공개되지 않음)
