Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Att-Adapter: A Robust and Precise Domain-Specific Multi-Attributes T2I Diffusion Adapter via Conditional Variational Autoencoder

Created by
  • Haebom
Category
Empty

저자

Wonwoong Cho, Yan-Ying Chen, Matthew Klenk, David I. Inouye, Yanxia Zhang

개요

본 논문에서는 사전 훈련된 확산 모델에서 연속적인 속성, 특히 여러 속성을 동시에 정밀하게 제어하는 문제를 해결하기 위해 새로운 플러그 앤 플레이 모듈인 Attribute (Att) Adapter를 제시합니다. Att-Adapter는 비짝을 이룬 여러 시각적 속성을 포함하는 샘플 이미지 집합으로부터 단일 제어 어댑터를 학습합니다. 이는 분리된 크로스 어텐션 모듈을 활용하여 여러 도메인 속성과 텍스트 조건을 조화시키고, 과적합을 완화하기 위해 조건부 변분 오토인코더(CVAE)를 활용합니다. 두 개의 공개 데이터셋에 대한 평가 결과, Att-Adapter는 연속적인 속성 제어에서 모든 LoRA 기반 기준 모델을 능가하며, 더 넓은 제어 범위와 향상된 속성 간 분리 성능을 보여줍니다. 또한, 훈련을 위해 짝을 이룬 합성 데이터가 필요 없고 여러 속성으로 쉽게 확장 가능하다는 장점이 있습니다.

시사점, 한계점

시사점:
사전 훈련된 확산 모델에서 연속적인 다중 속성을 정밀하게 제어할 수 있는 새로운 방법 제시.
기존 LoRA 기반 방법보다 우수한 성능과 더 넓은 제어 범위 제공.
속성 간의 분리 성능 향상.
비짝을 이룬 데이터를 사용하여 훈련 가능하며, 여러 속성으로 쉽게 확장 가능.
한계점:
본 논문에서 제시된 방법의 일반화 성능에 대한 추가적인 연구 필요.
다양한 종류의 데이터셋에 대한 성능 평가가 더 필요.
CVAE를 활용한 과적합 완화 전략의 효과에 대한 심층적인 분석 필요.
👍