StyleAR: Customizing Multimodal Autoregressive Model for Style-Aligned Text-to-Image Generation
Created by
Haebom
저자
Yi Wu, Lingting Zhu, Shengju Qian, Lei Liu, Wandi Qiao, Lequan Yu, Bin Li
개요
본 논문은 스타일 일치 텍스트-이미지 생성을 위한 새로운 접근 방식인 StyleAR을 제안합니다. 기존의 텍스트-이미지 생성 모델은 스타일 일치 생성에 필요한 대량의 텍스트-이미지-이미지 삼중 데이터 확보에 어려움을 겪습니다. StyleAR은 특별히 고안된 데이터 큐레이션 방법과 AR 모델을 결합하여 텍스트-이미지 이진 데이터를 효과적으로 활용합니다. 참조 스타일 이미지와 프롬프트를 사용하여 목표 스타일 이미지를 생성하고, 이를 이미지 모달리티로 사용하여 고품질 이진 데이터를 생성합니다. CLIP 이미지 인코더와 perceiver resampler를 사용하여 이미지 입력을 AR 모델의 다중 모달 토큰과 정렬된 스타일 토큰으로 변환하고, 스타일 향상 토큰 기법을 통해 콘텐츠 누출을 방지합니다. 또한, 대규모 텍스트-이미지 데이터셋에서 추출한 원시 이미지와 스타일화된 이미지를 혼합하여 StyleAR의 스타일 특징 추출 및 스타일 일관성을 향상시킵니다. 실험 결과 StyleAR의 우수한 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
스타일 일치 텍스트-이미지 생성 문제에 대한 효과적인 해결책 제시
◦
기존의 텍스트-이미지 데이터를 활용하여 스타일 일치 데이터 생성 가능
◦
CLIP 이미지 인코더와 perceiver resampler, 스타일 향상 토큰 기법을 통한 성능 향상
