Bot Wars Evolved: Orchestrating Competing LLMs in a Counterstrike Against Phone Scams
Created by
- Haebom
Category
Empty
저자
Nardine Basta, Conor Atkins, Dali Kaafar
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 전화 사기꾼과의 모의 대결을 통해 전화 사기를 방지하는 프레임워크인 "Bot Wars"를 제시합니다. 핵심 기여는 명시적인 최적화 없이 사고 과정 추론을 통한 전략의 출현에 대한 공식적인 토대를 마련한 것입니다. 새로운 2단계 프롬프트 구조를 통해 LLM은 인구 통계학적으로 사실적인 피해자 페르소나를 만들면서 전략적 일관성을 유지할 수 있습니다. 179시간의 인간 사기 방지 상호 작용을 기준으로 검증된 3,200개의 사기 대화 데이터 세트를 사용하여 접근 방식의 효과를 평가하고 복잡한 적대적 역학을 포착하는 능력을 보여줍니다. 인지적, 정량적 및 콘텐츠별 지표를 통한 체계적인 평가는 GPT-4가 대화의 자연스러움과 페르소나의 진정성에서 뛰어나고 Deepseek이 우수한 참여 지속성을 보여줌을 시사합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 전화 사기 방지의 새로운 접근 방식 제시
◦
명시적 최적화 없이 사고 과정 추론을 통한 전략적 대응 가능성 입증
◦
2단계 프롬프트 구조를 통한 페르소나 구현 및 전략적 일관성 유지
◦
다양한 지표를 활용한 체계적인 성능 평가
◦
GPT-4와 Deepseek의 상호 보완적인 강점 확인 (GPT-4: 자연스러움 및 진정성, Deepseek: 지속적인 참여)
•
한계점:
◦
현재 연구는 특정 LLM(GPT-4, Deepseek)에 국한된 평가를 수행하였으므로 다른 LLM에 대한 일반화 가능성 검증 필요
◦
실제 사기 상황과의 차이로 인한 모의 실험의 한계
◦
사용된 데이터셋의 크기 및 다양성에 대한 추가적인 검토 필요
◦
장기간의 사기 대응 전략 지속성에 대한 추가적인 연구 필요
◦
윤리적 측면 (예: 개인정보 보호, 사기꾼의 악용 가능성)에 대한 고려 필요
