The Levers of Political Persuasion with Conversational AI
Created by
Haebom
저자
Kobi Hackenburg, Ben M. Tappin, Luke Hewitt, Ed Saunders, Sid Black, Hause Lin, Catherine Fist, Helen Margetts, David G. Rand, Christopher Summerfield
개요
본 논문은 대규모 실험(N=76,977)을 통해 19개의 대규모 언어 모델(LLM)의 설득력을 707개의 정치적 이슈에 대해 평가하고, 466,769개의 주장의 사실 정확성을 검증함으로써 대화형 AI의 설득력에 대한 우려를 검토합니다. 실험 결과, 현재 및 가까운 미래의 AI의 설득력은 모델 규모 증가나 개인화보다는 사후 훈련 및 프롬프트 방법(설득력을 각각 최대 51% 및 27% 향상)에 더 크게 기인하는 것으로 나타났습니다. 또한, 이러한 방법들은 LLM이 정보에 빠르게 접근하고 전략적으로 배치하는 고유한 능력을 활용하여 설득력을 높였으며, 놀랍게도 설득력을 높이는 동시에 사실 정확성을 체계적으로 낮추는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
AI의 설득력은 모델 크기보다는 사후 훈련 및 프롬프팅 기법에 더 큰 영향을 받는다.
◦
사후 훈련 및 프롬프팅 기법은 AI의 정보 접근 및 전략적 활용 능력을 이용하여 설득력을 높인다.
◦
AI의 설득력 향상은 사실 정확성 감소와 상관관계가 있다.
◦
현재의 우려와 달리, 대규모 언어 모델 자체의 능력보다는 활용 방법에 초점을 맞춰야 함을 시사한다.
