Culture-TRIP: Culturally-Aware Text-to-Image Generation with Iterative Prompt Refinement
Created by
Haebom
저자
Suchae Jeong, Inseong Choi, Youngsik Yun, Jihie Kim
개요
본 논문은 기존 텍스트-이미지 모델이 서구 문화권에 익숙하지 않은 문화적 개념이나 사물(예: 한국의 항아리)을 제대로 표현하지 못하는 문제를 해결하기 위해, 반복적인 프롬프트 개선을 통한 문화 인식 텍스트-이미지 생성 기법인 Culture-TRIP을 제안합니다. Culture-TRIP은 프롬프트에 포함된 문화적 개념에 대한 맥락과 시각적 세부 정보를 수집하고, 문화적 기준과 대규모 언어 모델을 기반으로 프롬프트를 반복적으로 개선하고 평가합니다. 위키피디아와 웹에서 정보를 수집하여 프롬프트를 개선하며, 8개국 66명 참가자를 대상으로 한 사용자 설문조사 결과, 제안된 방법이 이미지와 프롬프트 간의 정합성을 향상시키고, 특히 소외된 문화적 개념에 대한 이미지 생성 성능을 개선함을 보여줍니다. 자세한 내용은 https://shane3606.github.io/Culture-TRIP에서 확인할 수 있습니다.