본 논문은 대규모 언어 모델(LLM)을 기반으로 한 자율적인 다회차 에이전트인 ScamAgent를 제시합니다. ScamAgent는 실제 사기 시나리오를 시뮬레이션하는 매우 현실적인 사기 전화 대본을 생성할 수 있습니다. 기존 연구들이 일회성 프롬프트 악용에 초점을 맞춘 것과 달리, ScamAgent는 대화 기억을 유지하고, 시뮬레이션된 사용자 응답에 동적으로 적응하며, 대화 회차에 걸쳐 기만적인 설득 전략을 사용합니다. 논문은 현재 LLM 안전 장치(거부 메커니즘 및 콘텐츠 필터 포함)가 이러한 에이전트 기반 위협에 효과적이지 않음을 보여줍니다. 강력한 프롬프트 수준의 안전 장치를 갖춘 모델조차도 프롬프트가 분해되거나, 위장되거나, 에이전트 프레임워크 내에서 점진적으로 전달될 때 우회될 수 있습니다. 또한, 최신 텍스트 음성 변환 시스템을 사용하여 사기 대본을 실제와 같은 음성 통화로 변환하여 완전히 자동화된 사기 파이프라인을 완성합니다. 결론적으로 생성형 AI에 의해 강화된 대화형 기만을 탐지하고 방해하기 위한 다회차 안전 감사, 에이전트 수준의 제어 프레임워크 및 새로운 방법의 긴급한 필요성을 강조합니다.
