본 논문은 합성 데이터로 훈련된 확산 모델이 현실에는 존재하지 않는 이미지(예: 공중에 떠 있는 개)를 생성하는 문제를 다룹니다. 연구진은 합성 이미지의 속성이 현실 세계에서 존재할 수 있는지를 나타내는 '실현 가능성(feasibility)' 개념을 정의하고, 실현 가능성이 낮은 이미지는 훈련 데이터에서 제외해야 한다는 기존의 생각에 의문을 제기합니다. CLIP 기반 분류기를 위한 합성 훈련 데이터 생성 시 배경, 색상, 질감 세 가지 속성에 대해 실현 가능성의 영향을 조사하기 위해, 텍스트 프롬프트를 기반으로 소스 이미지를 최소한으로 편집하여 실현 가능하거나 불가능한 속성을 포함하는 VariReal 파이프라인을 제시합니다. 실험 결과, 실현 가능성이 LoRA-fine-tuned CLIP 성능에 미치는 영향은 미미하며(대부분 상위 1% 정확도에서 0.3% 미만 차이), 속성에 따라 실현 가능/불가능 이미지가 분류 성능에 역으로 영향을 미치는 경우도 있습니다. 또한, 훈련 데이터에 실현 가능 및 불가능 이미지를 혼합하여 사용하는 것이 순수하게 실현 가능하거나 불가능한 데이터셋을 사용하는 것보다 성능에 큰 영향을 미치지 않는다는 것을 보여줍니다.
