본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템에서 도구 호출 프롬프트(TIP)의 보안 취약성을 조사합니다. LLM 기반 에이전트 시스템은 사용자 질의 처리, 의사결정, 외부 도구 실행을 통해 다양한 작업을 수행하는데, TIP는 이러한 시스템에서 외부 도구와의 상호 작용 프로토콜을 정의하고 LLM이 도구를 안전하고 정확하게 사용하도록 안내하는 중요한 구성 요소입니다. 하지만 TIP의 보안은 상대적으로 간과되어 왔습니다. 본 연구는 Cursor, Claude Code 등 주요 LLM 기반 시스템에서 원격 코드 실행(RCE) 및 서비스 거부(DoS)와 같은 공격에 취약한 점을 밝히고, 체계적인 TIP 악용 워크플로우(TEW)를 통해 조작된 도구 호출을 이용한 외부 도구 동작 탈취를 보여줍니다. 또한 LLM 기반 에이전트 시스템에서 TIP 보안을 강화하기 위한 방어 메커니즘을 제안합니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트 시스템의 TIP 취약성을 최초로 체계적으로 분석하고, 실제 시스템의 취약성을 실증적으로 보여줌.
◦
RCE 및 DoS와 같은 심각한 보안 위협을 제시하고, 그에 대한 방어 메커니즘을 제안함.
◦
LLM 기반 시스템의 보안 강화를 위한 중요한 연구 방향 제시.
•
한계점:
◦
제안된 방어 메커니즘의 실제 효과 및 성능에 대한 추가적인 평가 필요.
◦
다양한 LLM 기반 에이전트 시스템과 TIP 설계에 대한 포괄적인 분석이 아닌, 일부 시스템에 대한 분석에 국한됨.
