본 논문은 다중 모달 대규모 언어 모델(MLLM) 기반의 자율적 컴퓨터 사용 에이전트의 안전성 평가를 위한 새로운 벤치마크인 RiOSWorld를 제시합니다. 기존 연구의 한계인 비현실적인 환경이나 특정 위험 유형에 대한 협소한 초점을 극복하고자, 웹, 소셜 미디어, 멀티미디어, OS, 이메일, 오피스 소프트웨어 등 다양한 컴퓨터 애플리케이션을 포함하는 492개의 위험한 작업으로 구성된 벤치마크를 개발했습니다. 위험의 원천에 따라 사용자 기원 위험과 환경 위험으로 분류하고, 위험 목표 의도와 위험 목표 달성이라는 두 가지 관점에서 안전성 위험을 평가합니다. 실험 결과, 현존하는 컴퓨터 사용 에이전트가 실제 환경에서 상당한 안전 위험에 직면함을 보여주며, 실제 컴퓨터 조작 환경에서의 안전 정렬의 필요성과 시급성을 강조합니다. RiOSWorld 벤치마크는 공개적으로 이용 가능합니다.
