본 논문은 대규모 데이터셋으로 훈련된 생성 이미지 모델들이 손이나 4개의 물체 그룹처럼 훈련 데이터에 존재할 것으로 예상되는 단순한 개념의 이미지 생성에 자주 실패하는 현상을 체계적으로 분석하는 방법을 제시한다. 연구진은 희소 자동 인코더(SAE)를 활용하여 해석 가능한 개념 임베딩을 추출하고, 실제 이미지와 생성 이미지 간의 개념 빈도를 정량적으로 비교한다. 특히, DINOv2 특징을 사용하여 32,000개의 개념으로 훈련된 대규모 RA-SAE를 활용하여 Stable Diffusion 1.5/2.1, PixArt, Kandinsky 등 네 가지 인기 생성 모델의 개념적 차이를 분석한다. 그 결과, 특정 개념의 누락(예: 새 모이통, DVD 디스크, 문서의 여백)과 과장(예: 나무 배경 질감, 야자수)을 발견하고, 모델이 훈련 중 본 특정 시각적 템플릿을 재현하는 기억화 아티팩트를 개별 데이터 포인트 수준에서 분리한다. 결론적으로, 기저 데이터 생성 과정에 대한 개념적 충실도를 평가하여 생성 모델의 개념적 맹점을 체계적으로 식별하는 이론적으로 뒷받침된 프레임워크를 제안한다.
