Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SEAR: A Multimodal Dataset for Analyzing AR-LLM-Driven Social Engineering Behaviors

Created by
  • Haebom

저자

Tianlong Yu, Chenghang Ye, Zheyu Yang, Ziyi Zhou, Cui Tang, Zui Tao, Jun Zhang, Kailong Wang, Liting Zhou, Yang Yang, Ting Bi

개요

SEAR 데이터셋은 증강현실(AR)과 다중모달 대규모 언어 모델(LLM)을 통해 조직되는 사회공학(SE) 공격의 새로운 위협을 연구하기 위해 설계된 새로운 다중모달 자원입니다. 이 데이터셋은 회의, 수업, 네트워킹 이벤트를 포함한 시뮬레이션된 적대적 시나리오에서 60명의 참가자 간에 주석이 달린 180개의 대화를 담고 있습니다. 여기에는 동기화된 AR 캡처 시각/오디오 큐(예: 얼굴 표정, 음성 톤), 환경 컨텍스트 및 큐레이션된 소셜 미디어 프로필과 신뢰 등급 및 취약성 평가와 같은 주관적 지표가 포함됩니다. 주요 결과는 SEAR의 놀라운 효능(예: 피싱 링크 클릭률 93.3%, 전화 수락률 85%)과 신뢰 탈취(상호 작용 후 신뢰 급증 76.7%)를 보여줍니다. 이 데이터셋은 AR 기반 SE 공격 탐지, 방어 프레임워크 설계 및 다중모달 적대적 조작 이해에 대한 연구를 지원합니다. 익명화 및 IRB 준수를 포함한 엄격한 윤리적 안전 장치는 책임 있는 사용을 보장합니다. SEAR 데이터셋은 https://github.com/INSLabCN/SEAR-Dataset 에서 이용 가능합니다.

시사점, 한계점

시사점:
증강현실(AR)과 다중모달 LLM을 이용한 사회공학 공격의 효과성을 실증적으로 보여줌.
AR 기반 사회공학 공격 탐지 및 방어 기술 연구에 중요한 데이터셋 제공.
다중모달 적대적 조작에 대한 이해 증진에 기여.
한계점:
시뮬레이션된 환경에서 수집된 데이터이므로 실제 세계의 사회공학 공격과의 차이 존재 가능성.
참가자 수 (60명)가 상대적으로 적을 수 있음.
데이터셋의 일반화 가능성에 대한 추가적인 연구 필요.
👍