본 논문은 기존 확산 기반 생성 모델(DDPM)의 블랙박스적인 특성을 해결하기 위해, ProtoPNet에서 영감을 받은 해석 가능한 확산 모델인 Patronus를 제시합니다. Patronus는 DDPM에 원형 네트워크를 통합하여 원형을 추출하고 생성 과정을 원형 활성화 벡터를 통해 조절할 수 있도록 합니다. 이를 통해 학습된 원형과 생성 과정에 미치는 영향을 시각화하여 해석 가능성을 높이고, 이미지 조작과 같은 후속 작업을 투명하고 제어 가능하게 수행할 수 있습니다. 또한, 학습된 원형 간의 원치 않는 상관관계를 감지하여 생성 과정에서의 지름길 학습을 밝힐 수 있습니다. Patronus는 주석이나 텍스트 프롬프트 없이 작동하며, 원형 기반 해석 가능성을 통해 확산 모델을 이해하고 제어하는 새로운 방법을 제시합니다. GitHub에서 코드를 공개합니다.
