Causal-Adapter: Taming Text-to-Image Diffusion for Faithful Counterfactual Generation
Created by
Haebom
저자
Lei Tong, Zhihua Liu, Chaochao Lu, Dino Oglic, Tom Diethe, Philip Teare, Sotirios A. Tsaftaris, Chen Jin
Causal-Adapter: Counterfactual Image Generation with Causal Interventions
개요
Causal-Adapter는 고정된 텍스트-이미지 확산 백본을 사용하여 반사실적 이미지 생성을 위한 모듈형 프레임워크입니다. 이 방법은 이미지의 핵심 정체성을 변경하지 않고 대상 속성에 대한 인과적 개입을 가능하게 하여 그 영향을 인과적 종속 변수로 일관되게 전파합니다. 프롬프트 엔지니어링에 의존하는 이전 접근 방식과 달리, Causal-Adapter는 두 가지 속성 정규화 전략(정확한 의미 제어를 위한 텍스트 임베딩과 정렬된 프롬프트 주입 및 속성 요소를 분리하고 가짜 상관 관계를 줄이기 위한 조건부 토큰 대비 손실)으로 보강된 구조적 인과 모델링을 활용합니다. Causal-Adapter는 정확한 속성 제어를 위한 Pendulum에서 최대 91% MAE 감소 및 고품질 MRI 이미지 생성을 위한 ADNI에서 87% FID 감소를 통해 합성 및 실제 데이터 세트에서 최첨단 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
고정된 확산 모델에서 반사실적 이미지 생성을 위한 강력하고 일반화 가능한 접근 방식을 제시합니다.
