UDora: A Unified Red Teaming Framework against LLM Agents by Dynamically Hijacking Their Own Reasoning
Created by
Haebom
Category
Empty
저자
Jiawei Zhang, Shuang Yang, Bo Li
개요
본 논문은 외부 도구를 활용하는 대규모 언어 모델(LLM) 에이전트의 취약성을 다룹니다. 기존의 악성 명령어 삽입이나 악성 프롬프트 주입 방식이 효과적이지 않다는 점을 지적하며, 에이전트의 추론 과정을 활용하여 악성 행위를 유도하는 새로운 적대적 공격 프레임워크 UDora를 제시합니다. UDora는 에이전트의 추론 과정을 분석하고, 최적의 위치에 악성 입력을 삽입하여 목표 악성 행위를 유도합니다. 세 가지 LLM 에이전트 데이터셋을 통해 기존 방식보다 효과적인 결과를 보였습니다.
시사점, 한계점
•
시사점:
◦
LLM 에이전트의 추론 과정을 악용하는 새로운 적대적 공격 방식을 제시하여, 기존 방식의 한계를 극복.
