Sketch-to-Layout: Sketch-Guided Multimodal Layout Generation
Created by
- Haebom
Category
Empty
저자
Riccardo Brioschi, Aleksandr Alekseev, Emanuele Nevali, Berkay Doner, Omar El Malki, Blagoj Mitrevski, Leandro Kieliger, Mark Collier, Andrii Maksai, Jesse Berent, Claudiu Musat, Efi Kokiopoulou
개요
사용자 정의 스케치를 직관적인 제약 조건으로 활용하여 포스터 디자인에서 문서에 이르기까지 미적으로 만족스러운 레이아웃을 생성하는 새로운 접근 방식을 소개합니다. 이 문제는 현재 탐구되지 않은 유망한 연구 방향으로, 스케치와 콘텐츠 자산을 입력으로 사용하는 멀티모달 트랜스포머 기반 솔루션을 제안합니다. 또한, 학습용 스케치 데이터를 대규모로 합성 생성하는 효율적인 방법을 도입했습니다. PubLayNet, DocLayNet, SlidesVQA의 세 가지 공개 데이터 세트에서 모델을 학습하고 평가했으며, 최첨단 제약 조건 기반 방법보다 성능이 뛰어나고 더 직관적인 디자인 경험을 제공합니다. 향후 연구를 위해 약 20만 개의 합성 생성 스케치를 공개합니다.
시사점, 한계점
•
사용자 정의 스케치를 직관적인 레이아웃 제약 조건으로 활용하여 사용성을 향상시킴.
•
멀티모달 트랜스포머 기반 솔루션을 통해 스케치-레이아웃 문제를 해결.
•
합성적으로 생성된 대규모 스케치 데이터셋을 활용하여 모델을 학습.
•
기존 제약 조건 기반 방법보다 우수한 성능을 보임.
•
향후 연구를 위해 20만 개의 합성 생성 스케치 데이터셋을 공개.
•
데이터셋은 PubLayNet, DocLayNet, SlidesVQA에 국한됨.
•
모델 성능은 데이터셋에 의존적일 수 있음.
•
합성 데이터의 품질이 실제 스케치와 차이가 있을 수 있음.
