Causal-Adapter: Taming Text-to-Image Diffusion for Faithful Counterfactual Generation
Created by
Haebom
저자
Lei Tong, Zhihua Liu, Chaochao Lu, Dino Oglic, Tom Diethe, Philip Teare, Sotirios A. Tsaftaris, Chen Jin
개요
Causal-Adapter는 텍스트-이미지 확산 백본을 사용하여 반사실적 이미지 생성을 위한 모듈형 프레임워크입니다. 핵심 정체성을 변경하지 않으면서 대상 속성에 대한 인과적 개입을 가능하게 하고, 그 영향을 인과적 종속 요소로 일관되게 전달합니다. 프롬프트 엔지니어링에 의존하는 기존 접근 방식과 달리, Causal-Adapter는 구조적 인과 모델링을 활용합니다. 또한 정확한 의미론적 제어를 위해 인과적 속성을 텍스트 임베딩과 정렬하는 프롬프트 정렬 주입과 속성 요소를 분리하고 허위 상관 관계를 줄이기 위한 조건부 토큰 대조 손실이라는 두 가지 속성 정규화 전략을 사용합니다.
시사점, 한계점
•
시사점:
◦
정확한 속성 제어를 위해 최대 91%의 MAE 감소를 달성하며, 충실한 속성 수정과 강력한 정체성 유지를 통해 일반화 가능한 반사실적 편집을 가능하게 합니다.
◦
고품질 MRI 이미지 생성을 위해 ADNI에서 87%의 FID 감소를 달성하는 등, 합성 및 실제 데이터 세트에서 최고 수준의 성능을 보입니다.
