Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Taming Identity Consistency and Prompt Diversity in Diffusion Models via Latent Concatenation and Masked Conditional Flow Matching

Created by
  • Haebom
Category
Empty

저자

Aditi Singhania, Arushi Jain, Krutik Malani, Riddhi Dhawan, Souymodip Chakraborty, Vineet Batra, Ankit Phogat

개요

본 논문은 특정 대상의 핵심 특징을 보존하면서 다양한 맥락에서 새로운 이미지를 합성하는 것을 목표로 하는 대상 중심 이미지 생성에 대해 다룹니다. 강력한 정체성 일관성과 높은 프롬프트 다양성 사이의 근본적인 트레이드오프 문제를 해결하기 위해, 잠재적 연결 전략과 마스크된 조건부 흐름 매칭 (CFM) 목적을 결합한 LoRA 기반 미세 조정 확산 모델을 제안합니다. 이 모델은 아키텍처 변경 없이 견고한 정체성 보존을 가능하게 합니다. 대규모 학습을 위해, 데이터 복원 및 VLM 기반 필터링을 활용하여 고품질 시드 데이터 세트를 생성하는 2단계 증류 데이터 큐레이션 프레임워크를 도입하고, 큐레이션된 예시를 사용하여 매개변수 효율적인 미세 조정을 수행합니다. 또한, 필터링 및 품질 평가를 위해, 정체성 일관성, 프롬프트 준수, 지역별 색상 충실도, 시각적 품질 및 변환 다양성 등 다섯 가지 주요 축을 기준으로 속성 수준의 비교를 수행하는 CHARIS 평가 프레임워크를 제시합니다.

시사점, 한계점

시사점:
LoRA 기반 미세 조정과 잠재적 연결 전략을 통해 이미지 생성의 정체성 일관성을 향상시킴.
마스크된 CFM 목적 함수를 사용하여 아키텍처 변경 없이 강력한 성능을 달성.
2단계 증류 데이터 큐레이션 프레임워크를 통해 대규모 학습을 가능하게 함.
CHARIS 평가 프레임워크를 통해 이미지 생성 품질의 세분화된 평가를 제공.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음.
👍