Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TIP and Polish: Text-Image-Prototype Guided Multi-Modal Generation via Commonality-Discrepancy Modeling and Refinement

Created by
  • Haebom
Category
Empty

저자

Zhiyong Ma, Jiahao Chen, Qingyuan Chuai, Zhengping Li

개요

본 논문은 다중 모달 생성의 주제적 일관성과 스타일 일관성을 보장하는 데 어려움을 겪는 문제를 해결하기 위해, 입력 모델링과 포괄적인 최적화 목표를 갖춘 간단하면서도 효과적인 프레임워크인 \textbf{\textit{TIPPo}}를 제안한다. \textbf{\textit{TIPPo}}는 텍스트와 이미지를 추출하고, 시각적 프로토타입을 측정하며, 텍스트, 이미지, 프로토타입 신호를 Dual Alignment Attention 및 Difference Operator 모듈에 입력하여 언어 모델 디코딩을 수행한다. 스타일 일관성을 위해 \textbf{Po}lishPPO를 사용하고, SFT 중 비지도 대조 학습을 통해 샘플 간 표현 붕괴를 완화한다. 실험 결과는 자동 평가 및 LLM 기반 기준에서 \textbf{\textit{TIPPo}}의 우수한 성능을 보여준다.

시사점, 한계점

다중 모달 생성의 주제적 일관성 및 스타일 일관성 문제를 해결하는 새로운 프레임워크 제시
명시적인 입력 모델링과 포괄적인 최적화 목표를 통해 성능 향상
Dual Alignment Attention 및 Difference Operator 모듈을 활용하여 텍스트, 이미지, 프로토타입 신호 처리
스타일 일관성을 위한 \textbf{Po}lishPPO 및 샘플 간 표현 붕괴 완화
자동 평가 및 LLM 기반 평가에서 우수한 성능 입증
논문의 구체적인 한계점은 명시되지 않음
👍