본 논문은 차별적 개인정보 보호(DP) 이미지 합성 분야에서 일관성 없고 때로는 잘못된 평가 프로토콜의 문제점을 지적하고, 이를 해결하기 위해 DP 이미지 합성을 위한 표준화된 평가 벤치마크인 DPImageBench를 제시한다. DPImageBench는 11가지 주요 방법론, 9개의 데이터셋, 7가지 충실도 및 유용성 지표를 포함하여 체계적인 평가를 수행한다. 특히, 민감한 테스트 세트에서 가장 높은 정확도를 달성한 하위 분류기를 선택하는 일반적인 관행이 DP를 위반하고 유용성 점수를 과대평가한다는 점을 발견하고 이를 수정한다. 또한, 공개 이미지 데이터셋을 사전 훈련하는 것이 항상 유익한 것은 아니며, 사전 훈련 및 민감한 이미지 간의 분포 유사성이 합성 이미지의 성능에 상당한 영향을 미친다는 점을 밝혀낸다. 마지막으로, 고차원 특징(예: 가중치 기울기)보다 저차원 특징(예: 민감한 이미지의 고차원적 특징)에 노이즈를 추가하는 것이 개인정보 보호 예산에 덜 영향을 받으며, 낮은 개인정보 보호 예산 하에서 더 나은 성능을 보인다는 것을 발견한다.