SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation

작성자

Haebom

카테고리

Empty

저자

Yuhan Pei, Ruoyu Wang, Yongqi Yang, Ye Zhu, Olga Russakovsky, Yu Wu

💡 개요

본 논문은 확산 생성 모델의 정보 확산으로 인한 이미지 영역 간 간섭 및 문맥적 불일치 문제를 해결하기 위해 방향성 있는 정보 확산 기법을 제안합니다. 제안된 Cyclic One-Way Diffusion (COW)과 Selective One-Way Diffusion (SOW)은 픽셀 단위의 조건 충실도를 유지하면서 이미지 전반의 시각적, 의미적 일관성을 높입니다. 특히 SOW는 MLLM을 활용하여 문맥 관계에 따라 확산의 방향과 강도를 동적으로 조절함으로써 학습 없이도 적응적이고 범용적인 생성 모델을 가능하게 합니다.

🔑 시사점 및 한계

•

기존 확산 모델의 무질서한 정보 확산으로 인한 문제점을 극복하고, 텍스트-비전-이미지 생성(TV2I) 작업에서 픽셀 단위 조건 충실도와 전역적 문맥 일관성을 동시에 달성할 수 있는 새로운 접근 방식을 제시했습니다.

•

MLLM을 활용하여 이미지 내 의미적, 공간적 관계를 파악하고 이를 바탕으로 확산 과정을 제어하는 Selective One-Way Diffusion (SOW)은 학습 없이도 성능 향상을 이끌어낼 수 있는 유망한 방법론임을 보여줍니다.

•

제안된 방법론은 학습 없이도 적용 가능하다는 장점이 있지만, MLLM의 이해 능력이 SOW의 성능에 미치는 영향에 대한 추가적인 연구가 필요하며, 더 복잡하거나 추상적인 문맥을 다루는 데 있어 성능 개선의 여지가 있을 수 있습니다.

PDF 보기

Made with Slashpage