본 논문은 다양한 인간 경험을 고려하지 못하는 기존 텍스트-이미지(T2I) 모델의 한계를 지적하고, 다양하고 종종 상충하는 인간 가치에 대한 이해와 조정이 가능한 '다원적 정렬(pluralistic alignment)'을 제시합니다. 이를 위해 세 가지 주요 기여를 제공합니다. 첫째, 다양한 교차적 시각적 평가(DIVE)를 위한 새로운 다중 모드 데이터셋을 소개합니다. 이 데이터셋은 1000개의 프롬프트에 대한 광범위한 피드백을 제공한 인구 통계학적으로 교차하는 다수의 평가자를 통해 다양한 안전 관점에 대한 심층적인 정렬을 가능하게 합니다. 둘째, 본 연구는 인구 통계학적 특징이 이 영역에서 다양한 관점에 대한 중요한 대리 변수임을 실증적으로 확인하고, 기존 평가와는 다른 상당한 맥락 의존적 피해 인식 차이를 밝힙니다. 셋째, 효율적인 데이터 수집 전략, LLM 판단 기능, 다양한 관점에 대한 모델 조정 가능성을 포함하여 정렬된 T2I 모델을 구축하기 위한 시사점을 논의합니다. 이 연구는 보다 공정하고 정렬된 T2I 시스템을 위한 기초 도구를 제공합니다.
시사점, 한계점
•
시사점:
◦
다양한 인간 가치를 고려한 다원적 정렬(pluralistic alignment) 개념 제시 및 중요성 강조
◦
다양한 교차적 시각적 평가(DIVE)를 위한 새로운 다중 모드 데이터셋 제공
◦
인구 통계학적 특징이 T2I 모델의 안전성 평가에 있어 중요한 대리 변수임을 실증적으로 확인
◦
효율적인 데이터 수집 전략, LLM 판단 기능, 모델 조정 가능성 제시를 통한 향상된 T2I 모델 구축 방향 제시
