본 논문은 대규모 비전 언어 모델(LVLMs)이 사회적 편견과 고정관념을 학습하고 생성할 가능성에 대한 우려가 증가함에 따라, 기존 연구의 한계점인 내용어의 중요성을 간과한 측정 지표와 색상의 영향을 간과한 데이터셋 문제를 해결하고자 합니다. 이를 위해 본 연구는 고정관념 내용 모델(SCM)에 기반한 새로운 평가 지표를 제시하고, 성별, 인종, 색상 고정관념을 평가하기 위한 벤치마크 BASIC을 제안합니다. 8개의 LVLMs를 대상으로 SCM 지표와 BASIC을 사용하여 고정관념을 분석한 결과, SCM 기반 평가의 효과성, LVLMs의 성별, 인종뿐 아니라 색상 고정관념 생성, 모델 구조와 매개변수 크기의 상호작용이 고정관념에 영향을 미침을 확인했습니다. BASIC은 공개적으로 배포될 예정입니다.
