Argument Collapse: LLMs Flatten Long-Form Public Debate
작성자
카테고리
Empty
저자
Yekyung Kim, Yapei Chang, Chau Minh Pham, Mohit Iyyer
💡 개요
본 논문은 대규모 언어 모델(LLM)이 인간이 작성한 논증보다 훨씬 적은 수의 핵심 논증, 하위 논증 및 문단 구조를 반복적으로 생성하여 공개 토론을 획일화하는 '논증 붕괴(argument collapse)' 현상을 연구합니다. 논문에서는 뉴욕 타임스 및 보스턴 리뷰 토론의 인간 논증과 LLM 생성 논증을 비교 분석했으며, LLM이 인간만큼 다양하거나 구체적인 논증을 생성하지 못하며, 인간 선호도 평가 역시 이러한 붕괴를 심화시킬 수 있음을 발견했습니다.
🔑 시사점 및 한계
•
LLM이 공개 논쟁에 사용될 경우, 인간의 다양한 관점을 억압하고 획일적인 논증만을 반복하여 공개 토론의 질을 저하시킬 위험이 있습니다.
•
LLM의 '다양성 증진' 기능이 실제 인간 논증의 복잡성과 구체성을 충분히 담아내지 못하며, 오히려 인간 논증 공간 밖의 피상적인 다양성만 생성할 수 있습니다.
•
인간 선호도 평가자가 일반적인 논증과 LLM 생성 논증을 선호하는 경향은 논증 붕괴를 더욱 강화하는 요인이 될 수 있습니다.
•
논증 붕괴는 단기적인 짧은 글뿐만 아니라 장문의 토론에서도 나타나므로, LLM의 본질적인 특성으로 이해될 수 있습니다.