AegisUI: Behavioral Anomaly Detection for Structured User Interface Protocols in AI Agent Systems

Created by

Haebom

저자

Mohd Safwan Uddin, Saba Hajira

💡 개요

AI 에이전트가 동적으로 생성하는 사용자 인터페이스(UI)는 스키마 검사를 통과하더라도 사용자를 속이는 악의적인 행위를 숨길 수 있습니다. 본 연구는 이러한 구조화된 UI 프로토콜의 행동적 이상 탐지라는 새로운 과제를 해결하기 위해 AegisUI 프레임워크를 개발했습니다. AegisUI는 다양한 공격 유형과 도메인을 포함하는 4000개의 페이로드를 생성하고, 이를 통해 이상 탐지 모델의 성능을 종합적으로 평가했습니다.

🔑 시사점 및 한계

•

AI 에이전트가 생성하는 UI의 잠재적인 악의적 행동을 탐지할 수 있는 새로운 방법론과 프레임워크(AegisUI)를 제시합니다.

•

제안된 프레임워크를 통해 다양한 이상 탐지 모델(Isolation Forest, Autoencoder, Random Forest)의 성능을 객관적으로 비교 평가하고, 지도 학습 방식의 Random Forest가 가장 우수한 성능을 보임을 입증했습니다.

•

특히, 학습 데이터에 악의적인 예제가 부족하더라도 효과적인 탐지가 가능한 준지도 학습 방식의 Autoencoder가 실용적인 대안이 될 수 있음을 시사합니다.

•

공격 유형별로 탐지 난이도가 다르며, 레이아웃 남용은 비교적 쉽게 탐지되지만 조작적 UI는 탐지가 가장 어렵다는 분석 결과를 제시합니다.

•

연구에서 사용된 모든 코드, 데이터, 설정이 공개되어 재현성을 보장하며, 향후 연구 및 실제 시스템 적용에 기반이 될 것입니다.

•

향후 연구에서는 더 복잡하고 은밀한 공격 유형에 대한 탐지 성능 향상 및 실시간 탐지 시스템 구축에 대한 노력이 필요합니다.

PDF 보기

Made with Slashpage