본 논문은 급증하는 다중 모드 생성 모델의 신뢰성, 공정성, 오용 가능성에 대한 우려를 다룹니다. 텍스트-이미지 모델이 고품질의 사용자 지정 콘텐츠 생성에 뛰어나지만, 예측 불가능한 동작과 취약성을 보이며 클래스나 개념 표현 조작에 악용될 수 있다는 점을 지적합니다. 이를 해결하기 위해 임베딩 공간의 전역 및 지역적 섭동에 대한 응답을 분석하여 모델의 신뢰성을 평가하는 프레임워크를 제안합니다. 이를 통해 신뢰할 수 없거나 편향된 동작을 유발하는 입력을 식별할 수 있습니다. 사회적 함의를 넘어, 공정성과 다양성은 강력하고 신뢰할 수 있는 모델 동작을 정의하는 데 중요합니다. 본 연구는 (i) 학습된 개념에 대한 시각적 표현의 폭을 측정하는 생성 다양성, 그리고 (ii) 낮은 지시 설정하에서 입력 프롬프트에서 개념을 제거하는 것이 제어에 미치는 영향을 조사하는 생성 공정성을 평가하여 이러한 필수 측면에 대한 더 깊은 통찰력을 제공합니다. 또한 이 방법은 신뢰할 수 없고 편향이 주입된 모델을 감지하고 임베딩된 편향의 기원을 추적하는 기반을 마련합니다. 소스 코드는 공개적으로 제공됩니다.
