# REVEAL: Multi-turn Evaluation of Image-Input Harms for Vision LLM

### 저자

Madhur Jindal, Saurabh Deshpande

### 개요

본 논문은 비전 대형 언어 모델(VLLMs)의 안전성 및 윤리적 문제를 평가하기 위한 새로운 프레임워크인 REVEAL을 제시합니다. 기존의 단일 턴 기반 평가 방식의 한계를 극복하기 위해, REVEAL은 자동화된 이미지 마이닝, 합성 적대적 데이터 생성, crescendo 공격 전략을 이용한 다중 턴 대화 확장, GPT-4o와 같은 평가자를 통한 포괄적인 피해 평가를 포함합니다.  5개의 최첨단 VLLMs (GPT-4o, Llama-3.2, Qwen2-VL, Phi3.5V, Pixtral)을 성적 피해, 폭력, 잘못된 정보의 세 가지 주요 피해 범주에 걸쳐 평가한 결과, 다중 턴 상호 작용이 단일 턴 평가보다 결함률이 훨씬 높다는 것을 발견했습니다.  GPT-4o가 안전성-유용성 지수(SUI)를 기준으로 가장 균형 잡힌 성능을 보였으며, 잘못된 정보가 개선된 상황 인식 방어가 필요한 중요한 영역으로 나타났습니다. Llama-3.2는 가장 높은 다중 턴 결함률(16.55%)을, Qwen2-VL은 가장 높은 다중 턴 거부율(19.1%)을 보였습니다.

### 시사점, 한계점

- **시사점:**

    - VLLMs의 안전성 평가를 위한 새로운 프레임워크 REVEAL 제시

    - 다중 턴 상호 작용에서의 VLLMs 취약성을 명확히 밝힘

    - VLLMs의 성능 비교 및 각 모델의 강점과 약점 제시 (특히 GPT-4o와 Pixtral의 우수한 성능, Llama-3.2와 Qwen2-VL의 취약성)

    - 잘못된 정보 생성에 대한 VLLMs의 취약성 강조 및 향상된 방어 메커니즘 필요성 제기

    - 안전성-유용성 지수(SUI)를 활용한 균형 잡힌 평가 방식 제시

- **한계점:**

    - REVEAL 프레임워크의 일반화 가능성 및 확장성에 대한 추가 연구 필요

    - 평가에 사용된 데이터셋의 편향성 및 대표성에 대한 검토 필요

    - 더 다양한 유형의 피해 및 상황에 대한 평가 필요

    - GPT-4o와 같은 대규모 언어모델에 대한 의존성으로 인한 편향 가능성 존재

[PDF 보기](https://arxiv.org/pdf/2505.04673)

![https://i.imgur.com/IAlldlf.jpeg](https://i.imgur.com/IAlldlf.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).