EmoFeedback2: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback
Created by
Haebom
Category
Empty
저자
Jingyang Jia, Kai Shu, Gang Yang, Long Xing, Xun Chen, Aiping Liu
개요
본 논문은 사용자 설명과 연속적인 감성 값을 따르는 이미지를 생성하는 C-EICG(Continuous emotional image generation)를 위한 새로운 생성-이해-피드백 강화 패러다임 EmoFeedback2를 제안한다. 기존 방법의 감성 피드백 부족과 감성 프롬프트의 부적절한 조정 문제를 해결하기 위해, LVLM(large vision-language model)을 활용하여 감성 인식 보상 전략과 자기 개선 텍스트 피드백 프레임워크를 개발했다. EmoFeedback2는 생성 모델의 강화 학습을 안내하고 이미지의 감성 연속성을 향상시키며, 세밀한 내용으로 감성 충실도를 개선한다.
시사점, 한계점
•
시사점:
◦
LVLM을 활용한 감성 인식 보상 전략을 통해 생성된 이미지의 감성 연속성을 향상시킴.
◦
자기 개선 텍스트 피드백 프레임워크를 통해 이미지 내용에 맞게 감성 프롬프트를 조정하여 감성 충실도를 개선.
◦
새로운 C-EICG 패러다임을 제안하고, 사용자 정의 데이터셋에서 SOTA(state-of-the-art) 성능을 달성함.
