Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

sudo rm -rf agentic_security

Created by
  • Haebom
Category
Empty

저자

Sejin Lee, Jian Kim, Haon Park, Ashkan Yousefpour, Sangyoon Yu, Min Song

개요

본 논문은 대규모 언어 모델(LLM) 기반 컴퓨터 사용 에이전트의 보안 취약성을 공격 프레임워크 SUDO를 통해 제시합니다. SUDO는 Detox2Tox 기법을 사용하여 에이전트가 거부하는 악의적인 요청을 무해한 요청으로 변환한 후, 고급 시각 언어 모델(VLM)로부터 상세한 지침을 얻어 실행 직전에 악의적인 내용을 다시 삽입하는 방식으로 작동합니다. 기존의 제약 우회 기법과 달리, SUDO는 거부 피드백을 기반으로 공격을 반복적으로 개선하여 강력한 정책 필터를 우회합니다. 실제 환경에서 50가지 작업을 대상으로 한 실험 결과, Claude Computer Use에서 SUDO의 공격 성공률은 24%(개선 없음)에서 최대 41%(반복적 개선)에 달했습니다. 이는 강력하고 맥락 인식적인 보안 대책의 필요성을 시사합니다.

시사점, 한계점

시사점:
LLM 기반 컴퓨터 사용 에이전트의 보안 취약성을 명확히 보여줌.
기존 제약 우회 기법보다 효과적인 새로운 공격 기법(SUDO) 제시.
강력하고 맥락 인식적인 보안 대책의 긴급한 필요성 강조.
실제 환경에서의 LLM 악용 가능성을 실증적으로 보여줌.
한계점:
SUDO의 공격 성공률이 아직 50% 미만임. (하지만 지속적인 개선 가능성을 보여줌)
특정 에이전트(Claude Computer Use)에 대한 공격에 집중되어 다른 에이전트에 대한 일반화 가능성은 제한적일 수 있음.
제시된 공격 기법이 악용될 가능성이 존재함. (논문 자체에서도 위험성을 경고하고 있음)
👍