본 논문은 다중 모달 대규모 언어 모델 기반 에이전트(MLAs)의 신뢰성 평가를 위한 포괄적인 프레임워크인 MLA-Trust를 제시합니다. MLAs는 GUI 애플리케이션에서 웹 자동화부터 모바일 시스템까지 광범위한 자율적 기능을 제공하지만, 실제 세계에 직접적인 영향을 미칠 수 있다는 점에서 기존 언어 모델보다 신뢰성 문제가 더욱 심각합니다. 기존 벤치마크는 MLAs의 실행 가능한 출력, 장기간 불확실성, 다중 모달 공격 벡터 등의 고유한 문제를 제대로 다루지 못합니다. MLA-Trust는 진실성, 제어 가능성, 안전성, 개인 정보 보호의 네 가지 측면에서 MLAs의 신뢰성을 평가하며, 웹사이트 및 모바일 애플리케이션을 테스트 환경으로 활용하여 34가지의 고위험 상호 작용 과제와 풍부한 평가 데이터 세트를 설계합니다. 13개의 최첨단 에이전트를 대상으로 한 대규모 실험을 통해 다중 모달 상호 작용 시나리오에서 이전에는 알려지지 않았던 신뢰성 취약성을 밝혀냅니다. 특히, 다단계 상호 작용에서 유해 콘텐츠 생성이 가능해지는 등 정적 MLLM에서 상호 작용형 MLA로의 전환은 신뢰성을 상당히 저해합니다.
