본 논문은 사고연쇄(Chain-of-Thought, CoT) 추론을 자기회귀적 이미지 생성에 적용하여 성능 향상을 이룬 연구입니다. 검증을 위한 테스트 시간 계산 확장, 직접적 선호도 최적화(Direct Preference Optimization, DPO)를 통한 모델 선호도 정렬, 그리고 이 두 기법의 상호 보완적 결합 등 세 가지 기법에 초점을 맞추었습니다. 특히, 자기회귀적 이미지 생성에 특화된 잠재력 평가 보상 모델(Potential Assessment Reward Model, PARM)과 PARM++을 제안합니다. PARM은 잠재력 평가 접근 방식을 통해 각 생성 단계를 평가하고 기존 보상 모델의 장점을 결합하며, PARM++는 추가적으로 자기 수정 메커니즘을 도입하여 불량 이미지를 수정합니다. Show-o 모델을 기반으로 제안된 방법들을 적용하여 GenEval 벤치마크에서 24%의 성능 향상을 달성, Stable Diffusion 3을 15% 상회하는 결과를 얻었습니다.
시사점, 한계점
•
시사점:
◦
CoT 추론을 자기회귀적 이미지 생성에 성공적으로 적용하여 성능 향상을 입증.
◦
PARM 및 PARM++와 같은 새로운 보상 모델 제안을 통해 이미지 생성 품질 향상.
◦
테스트 시간 계산 확장 및 DPO를 통한 CoT 추론 전략의 효과적인 결합 방법 제시.
◦
GenEval 벤치마크에서 SOTA 성능 달성.
•
한계점:
◦
제안된 방법의 일반성 및 다른 이미지 생성 모델에 대한 적용 가능성에 대한 추가 연구 필요.
