DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

Created by

Haebom

저자

Varun Gopal, Rishabh Jain, Aradhya Mathur, Nikitha SR, Sohan Patnaik, Sudhir Yarram, Mayur Hemani, Balaji Krishnamurthy, Mausoom Sarkar

💡 개요

그래픽 레이아웃 생성 모델은 종종 인간의 미적 기준에 부합하지 못하는 문제를 겪습니다. 이에 본 연구에서는 10,235개의 인간 주석이 달린 선호도 쌍으로 구성된 대규모 데이터셋인 DesignSense-10k를 제안하고, 이를 활용하여 그래픽 레이아웃 평가를 위한 Vision-Language Model(VLM) 기반 분류기인 DesignSense를 학습시켰습니다. DesignSense는 기존 모델들을 크게 능가하는 성능을 보이며, 레이아웃 생성 작업의 품질을 향상시키는 데 기여합니다.

🔑 시사점 및 한계

•

텍스트-이미지 평가 모델의 한계 극복: 기존 텍스트-이미지 생성에 사용되던 선호도 데이터셋과 보상 모델은 공간적 배열이 중요한 그래픽 레이아웃 평가에 적합하지 않음을 입증하고, 레이아웃 평가에 특화된 데이터셋과 모델의 필요성을 강조합니다.

•

고품질 레이아웃 평가 및 생성 가능성 제시: DesignSense-10k 데이터셋과 DesignSense 보상 모델은 레이아웃 생성 모델의 성능을 향상시키고, 실제 응용에서의 레이아웃 품질을 실질적으로 개선할 수 있음을 보여줍니다.

•

전반적인 VLM의 신뢰성 부족 및 4-클래스 작업의 어려움: 최첨단 VLM조차도 일반적인 레이아웃 평가에서 신뢰하기 어렵고, 특히 4가지 선택지(왼쪽, 오른쪽, 둘 다 좋음, 둘 다 나쁨)를 모두 고려하는 작업에서는 치명적인 오류를 범할 수 있다는 점은 향후 VLM의 발전 방향에 대한 과제를 제시합니다.

PDF 보기

Made with Slashpage