본 논문은 차별적 프라이버시(DP) 이미지 합성 분야에서 일관성 없고 때로는 잘못된 평가 프로토콜의 문제점을 지적하고, 이를 해결하기 위해 DP 이미지 합성을 위한 표준화된 평가 벤치마크인 DPImageBench를 제시합니다. DPImageBench는 11가지 주요 방법론을 모델 아키텍처, 사전 훈련 전략, 프라이버시 메커니즘 등을 기준으로 체계적으로 분석하고, 9개의 데이터셋과 7가지 충실도 및 유용성 지표를 사용하여 종합적으로 평가합니다. 특히, 민감한 테스트 세트에서 가장 높은 정확도를 달성하는 하위 분류기를 선택하는 일반적인 관행이 DP를 위반하고 유용성 점수를 과대평가한다는 점을 밝히고, DPImageBench는 이러한 문제점을 수정합니다. 또한, 공개 이미지 데이터셋에서의 사전 훈련이 항상 유익한 것은 아니며, 사전 훈련 및 민감한 이미지 간의 분포 유사성이 합성 이미지의 성능에 큰 영향을 미친다는 점을 발견하였습니다. 마지막으로, 고차원 특징(가중치 기울기 등)보다 저차원 특징(민감한 이미지의 고차원 특징 등)에 노이즈를 추가하는 것이 프라이버시 예산에 덜 영향을 받으며, 저 프라이버시 예산 환경에서 더 나은 성능을 보인다는 것을 밝힙니다.
