FAME: Fairness-aware Attention-modulated Video Editing
Created by
- Haebom
Category
Empty
저자
Zhangkai Wu, Xuhui Fan, Zhongyuan Xie, Kaize Shi, Zhidong Li, Longbing Cao
개요
Training-free video editing 모델은 직업 관련 프롬프트를 렌더링할 때 성별 고정관념에 의존하는 경향이 있습니다. 본 논문은 공정한 비디오 편집을 위한 Fairness-aware Attention-modulated Video Editing (FAME)을 제안합니다. FAME은 프롬프트 정렬과 일관된 비디오 편집을 위한 시간적 일관성을 유지하면서 직업 관련 성별 편향을 완화합니다. 소수자 표현으로부터 공정성 임베딩을 파생하여 디바이싱 토큰을 텍스트 인코더에 부드럽게 주입합니다. 동시에, FAME은 시간적 자기 주의와 프롬프트-영역 교차 주의에 공정성 조절을 통합하여 공정성 단서를 직접 도입함으로써 발생하는 움직임 손상 및 시간적 불일치를 완화합니다. 시간적 자기 주의의 경우, FAME은 시간 감쇠 가중치와 결합된 영역 제한 주의 마스크를 도입하여 영역 내 일관성을 강화하고 관련 없는 영역 간 상호 작용을 억제합니다. 교차 주의의 경우, 디바이싱 프롬프트 임베딩에서 파생된 공정성 민감 유사성 마스크를 통합하여 토큰을 영역 매칭 점수로 다시 가중합니다. 이러한 조절을 통해 공정성 민감 의미론을 올바른 시각적 영역에 연결하고 프레임 간의 시간적 드리프트를 방지합니다. 새로운 비디오 편집 공정성 지향 벤치마크 FairVE에 대한 광범위한 실험을 통해 FAME은 기존 비디오 편집 기준선을 능가하여 더 강력한 공정성 정렬 및 의미 충실도를 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
FAME은 직업 관련 성별 편향을 완화하여 공정한 비디오 편집을 가능하게 합니다.
◦
프롬프트 정렬 및 시간적 일관성을 유지합니다.
◦
시간적 자기 주의 및 교차 주의에 공정성 조절을 통합하여 움직임 손상 및 시간적 불일치를 완화합니다.
◦
새로운 벤치마크 FairVE에서 기존 기준선을 능가하는 성능을 보입니다.
•
한계점:
◦
해당 논문의 한계점은 논문에 명시적으로 언급되지 않았습니다.
