Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MORALISE: A Structured Benchmark for Moral Alignment in Visual Language Models

Created by
  • Haebom

저자

Xiao Lin, Zhining Liu, Ze Yang, Gaotang Li, Ruizhong Qiu, Shuke Wang, Hui Liu, Haotian Li, Sumit Keswani, Vishwa Pardeshi, Huijun Zhao, Wei Fan, Hanghang Tong

개요

본 논문은 자율주행 및 의료 분석과 같이 도덕적으로 민감한 영역에서 점점 더 영향력이 커지고 있는 비전-언어 모델(VLMs)의 도덕적 정렬을 평가하기 위한 포괄적인 벤치마크인 MORALISE를 제시합니다. 기존 연구의 한계점인 텍스트 모달리티에만 초점을 맞추거나 AI 생성 이미지에 의존하는 문제를 극복하기 위해, Turiel의 영역 이론을 기반으로 13가지 도덕적 주제를 제시하고, 전문가 검증을 거친 2,481개의 고품질 이미지-텍스트 쌍을 수동으로 큐레이션했습니다. 각 쌍에는 도덕적 주제 위반 여부와 위반의 모달리티(이미지 또는 텍스트)를 나타내는 두 가지 세분화된 레이블이 부여됩니다. 평가를 위해 도덕적 판단 및 도덕적 규범 귀속 두 가지 작업을 포함하며, 19개의 인기 있는 오픈 및 클로즈 소스 VLM에 대한 광범위한 실험을 통해 최첨단 모델에서 지속적인 도덕적 한계를 보여줍니다. MORALISE 벤치마크는 https://huggingface.co/datasets/Ze1025/MORALISE 에서 공개적으로 이용 가능합니다.

시사점, 한계점

시사점:
Turiel의 영역 이론에 기반한 13가지 도덕적 주제를 포함하는 포괄적인 도덕적 정렬 평가 벤치마크를 제시합니다.
실제 세계 데이터를 사용하여 생성된 이미지와 텍스트의 도덕적 위반을 평가함으로써 현실적인 평가를 제공합니다.
도덕적 판단 및 도덕적 규범 귀속이라는 두 가지 평가 작업을 통해 VLMs의 도덕적 인식과 추론 능력을 종합적으로 평가합니다.
최첨단 VLMs의 도덕적 한계를 드러내어 향후 연구 방향을 제시합니다.
공개적으로 이용 가능한 벤치마크 데이터셋을 제공합니다.
한계점:
수동으로 데이터를 큐레이션하여 시간과 자원이 많이 소요될 수 있습니다.
벤치마크에 포함된 도덕적 주제가 모든 상황을 포괄하지 못할 수 있습니다.
전문가 검증 과정에서 주관적인 판단이 개입될 가능성이 있습니다.
다양한 문화적 배경을 고려하지 못했을 가능성이 있습니다.
새로운 유형의 도덕적 위반에 대한 적응성이 부족할 수 있습니다.
👍