Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance
Created by
Haebom
저자
Donghoon Ahn, Hyoungwon Cho, Jaewon Min, Wooseok Jang, Jungwoo Kim, SeonHwa Kim, Hyun Hee Park, Kyong Hwan Jin, Seungryong Kim
개요
본 논문은 확산 모델의 샘플링 품질 향상을 위한 새로운 방법인 Perturbed-Attention Guidance (PAG)를 제안합니다. 기존의 classifier guidance (CG)나 classifier-free guidance (CFG)와 달리 추가적인 학습이나 외부 모듈 통합 없이, 조건부 및 무조건부 생성 모두에서 샘플 품질을 향상시킵니다. PAG는 확산 U-Net 내의 선택된 self-attention map을 항등 행렬로 대체하여 구조가 저하된 중간 샘플을 생성하고, 이로부터 벗어나도록 denoising 과정을 유도함으로써 샘플의 구조를 점진적으로 향상시키는 방식입니다. ADM과 Stable Diffusion에서 모두 조건부 및 무조건부 시나리오에서 샘플 품질을 향상시키며, ControlNet(빈 프롬프트 사용)이나 이미지 복원(inpainting, deblurring) 등 기존 guidance 기법이 제한적으로 활용되는 다양한 downstream task에서도 성능 향상을 보입니다.
시사점, 한계점
•
시사점:
◦
추가 학습이나 외부 모듈 없이 확산 모델의 샘플 품질을 향상시키는 새로운 guidance 기법 제시.
◦
조건부 및 무조건부 생성 모두에서 효과적임.
◦
기존 guidance 기법의 활용이 제한적인 downstream task에서 성능 향상.
◦
ADM과 Stable Diffusion 등 다양한 모델에 적용 가능성 확인.
•
한계점:
◦
PAG가 self-attention mechanism에 의존적이므로, self-attention mechanism을 사용하지 않는 다른 유형의 확산 모델에는 적용이 어려울 수 있음.
◦
어떤 self-attention map을 선택적으로 대체할지 결정하는 전략에 대한 추가적인 연구가 필요할 수 있음.
