본 논문은 정책 준수가 중요한 환경(예: 환불 자격, 취소 규정)에서 정책을 준수하는 작업 지향적 LLM 기반 에이전트의 취약성을 다룹니다. 악의적인 사용자가 에이전트를 이용하려는 시나리오에 초점을 맞춘 새로운 위협 모델을 제시하고, 이를 해결하기 위해 정책을 인지하는 설득 전략을 활용하여 정책 준수 에이전트를 공격하는 다중 에이전트 적대적 테스트 시스템인 CRAFT를 소개합니다. 기존 tau-bench 벤치마크를 기반으로, 조작적인 사용자 행동에 대한 에이전트의 강건성을 엄격하게 평가하도록 설계된 보완 벤치마크인 tau-break를 제시하며, 여러 방어 전략을 평가하여 그 한계를 보여줍니다.
