FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
Created by
- Haebom
Category
Empty
저자
Mintong Kang, Vinayshekhar Bannihatti Kumar, Shamik Roy, Abhishek Kumar, Sopan Khosla, Balakrishnan Murali Narayanaswamy, Rashmi Gangadharaiah
개요
본 논문은 텍스트-이미지 확산 모델에서 특정 인구 통계적 그룹(예: 엔지니어 이미지 생성 시 남성 과다 생성)에 대한 편향 문제를 해결하기 위해 FairGen을 제안합니다. FairGen은 추론 과정 중 생성 분포를 제어하는 적응형 잠재적 지침 메커니즘으로, 잠재적 지침 모듈이 확산 과정을 조정하여 특정 속성을 강화하고, 메모리 모듈이 생성 통계를 추적하여 목표로 하는 속성 값의 공정한 분포와 일치하도록 잠재적 지침을 조정합니다. 또한, 기존 데이터셋의 한계를 고려하여 다양한 도메인과 복잡한 프롬프트를 포함하는 포괄적인 편향 평가 벤치마크 HBE를 제시합니다. HBE 및 Stable Bias 데이터셋에 대한 광범위한 평가 결과, FairGen은 기존의 편향 완화 기법보다 우수한 성능을 보이며 상당한 편향 감소(예: Stable Diffusion 2에서 성별 편향 68.5% 감소)를 달성합니다. 추가적으로, 에이블레이션 연구를 통해 FairGen이 사용자 지정 세분성에서 생성 분포를 유연하고 정확하게 제어하여 적응적이고 목표 지향적인 편향 완화를 보장함을 강조합니다.
시사점, 한계점
•
시사점:
◦
텍스트-이미지 확산 모델의 생성 편향 문제를 효과적으로 완화하는 새로운 기법 FairGen 제시
◦
다양한 도메인과 복잡한 프롬프트를 포함하는 포괄적인 편향 평가 벤치마크 HBE 개발
◦
기존 방법 대비 우수한 성능으로 상당한 편향 감소 달성 (예: Stable Diffusion 2에서 성별 편향 68.5% 감소)
◦
사용자 지정 세분성에서 유연하고 정확한 생성 분포 제어 가능
•
한계점:
◦
HBE 벤치마크가 모든 유형의 편향을 완벽하게 포괄하지 못할 가능성 존재
◦
FairGen의 성능이 특정 데이터셋 또는 모델에 의존할 가능성 존재
◦
실제 세계 적용 시 예상치 못한 편향 발생 가능성
◦
컴퓨팅 자원 소모가 클 수 있음
