본 논문은 강화학습(RL)을 이용하여 자기회귀적 이미지 생성에서 사고연쇄(CoT) 추론 능력을 향상시키는 연구에 대해 다룬다. 특히, Direct Preference Optimization (DPO) 와 Group Relative Policy Optimization (GRPO) 두 가지 RL 알고리즘을 자기회귀적 이미지 생성에 적용하여, 각 알고리즘의 성능과 장단점을 비교 분석하고, 다양한 reward model의 영향을 평가한다. LLM 기반 CoT 추론과는 달리, 이미지 생성의 고유한 과제(텍스트-이미지 일관성, 미적 품질 향상, 정교한 reward model 설계 등)에 초점을 맞춰, 세 가지 확장 전략을 통해 도메인 내 및 도메인 외 일반화 성능을 향상시키는 방법을 제시한다. 결과적으로 GRPO와 DPO는 각기 다른 장점을 보이며, 일반화 능력이 뛰어난 reward model이 RL 알고리즘의 일반화 성능을 향상시킨다는 것을 밝혔다. 본 연구는 자기회귀적 이미지 생성에서 강력한 CoT 추론을 달성하기 위한 효과적인 RL 알고리즘 개발에 새로운 방향을 제시한다.
