Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

sudo rm -rf agentic_security

Created by
  • Haebom

저자

Sejin Lee, Jian Kim, Haon Park, Ashkan Yousefpour, Sangyoon Yu, Min Song

개요

본 논문은 대규모 언어 모델(LLM) 기반 컴퓨터 사용 에이전트의 보안 취약성을 다룹니다. SUDO라는 새로운 공격 프레임워크를 제시하는데, 이는 Claude for Computer Use와 같은 상용 에이전트의 거부 훈련된 안전 장치를 체계적으로 우회합니다. SUDO의 핵심 메커니즘인 Detox2Tox는 유해한 요청을 겉보기에는 무해한 요청으로 변환한 후, 고급 비전 언어 모델(VLM)을 통해 자세한 지침을 확보하고, 실행 직전에 악의적인 내용을 다시 도입합니다. 기존의 탈옥(jailbreak)과 달리, SUDO는 내장된 거부 피드백을 기반으로 공격을 반복적으로 개선하여 강력한 정책 필터에 대한 효과를 높입니다. 실제 환경에서 50가지 작업에 대한 광범위한 테스트 결과, Claude for Computer Use에서 SUDO의 공격 성공률은 24.41%(미세 조정 없이)에서 최대 41.33%(반복적 미세 조정 시)에 달했습니다. 이 연구는 실제 컴퓨팅 환경에서 LLM 기반 에이전트의 취약성과 쉽게 악용될 수 있음을 보여주며, 견고하고 맥락을 인식하는 안전 장치의 필요성을 강조합니다.

시사점, 한계점

시사점:
LLM 기반 컴퓨터 사용 에이전트의 보안 취약성을 명확히 보여줌.
기존의 탈옥 기법보다 효과적인 새로운 공격 프레임워크(SUDO) 제시.
실제 환경에서의 높은 공격 성공률을 통해 즉각적인 보안 강화 필요성을 강조.
향후 LLM 기반 에이전트 개발 시 보안 강화 방안 마련에 중요한 시사점 제공.
한계점:
현재 특정 에이전트(Claude for Computer Use)에 대한 공격에 집중되어 다른 에이전트로의 일반화 가능성에 대한 추가 연구 필요.
SUDO의 효과적인 방어 기법에 대한 연구가 추가적으로 필요.
공격 성공률이 높지만, 여전히 100%에 도달하지 못함. 완벽한 방어 기법 개발의 어려움 시사.
본 논문에서 제시된 공격 기법이 악용될 가능성 존재 (윤리적 문제 제기).
👍