PFB-Diff는 확산 모델 기반의 이미지 편집을 위한 새로운 방법론으로, 기존 방법들의 단점인 잠재 공간에서의 부자연스러운 혼합으로 인한 아티팩트 문제를 해결하기 위해 제안되었습니다. 다중 레벨 특징 혼합을 통해 텍스트로 안내된 생성 콘텐츠를 대상 이미지에 매끄럽게 통합하며, 고차원에서 저차원으로의 점진적인 혼합 방식과 심층 특징에 담긴 풍부한 의미 정보를 활용하여 의미적 일관성과 고품질 편집 이미지를 생성합니다. 또한, 어텐션 마스크 메커니즘을 도입하여 특정 단어의 영향을 원하는 영역에 국한시킴으로써 배경 편집 및 다중 객체 교체 성능을 향상시켰습니다. 객체/배경 교체, 객체 속성 편집 등 다양한 편집 작업에 효과적으로 적용 가능하며, 추가적인 미세 조정이나 학습 없이도 우수한 편집 정확도와 이미지 품질을 보여줍니다. GitHub에서 코드를 공개했습니다.
