Autoregressive Visual Generation Needs a Prologue

작성자

Haebom

카테고리

Empty

저자

Bowen Zheng, Weijian Luo, Guang Yang, Colin Zhang, Tianyang Hu

💡 개요

본 연구는 자기회귀(AR) 이미지 생성에서 재구축-생성 간의 격차를 해소하기 위한 "Prologue"라는 새로운 접근법을 제안합니다. Prologue는 재구축과 생성을 동시에 만족시키기 위해 시각적 토큰을 수정하는 대신, 시각적 토큰 시퀀스 앞에 작은 "프롤로그 토큰" 세트를 추가로 생성합니다. 이 프롤로그 토큰은 AR 교차 엔트로피(CE) 손실만으로 훈련되며, 시각적 토큰은 재구축에 전념하게 하여 생성 품질을 개선하면서 재구축 품질은 거의 유지합니다.

🔑 시사점 및 한계

•

생성 품질 향상: 프롤로그 토큰을 통해 생성 모델의 실제 분포를 최적화하여 재구축 품질에 영향을 주지 않으면서 생성 품질을 크게 향상시킬 수 있습니다.

•

프롤로그 토큰의 내재적 의미 구조: 프롤로그 토큰은 학습 과정에서 별도의 의미론적 지도 없이도 자연스럽게 의미론적 구조를 학습하며, 이는 선형 탐색이나 재샘플링 실험을 통해 입증되었습니다.

•

별도 학습 가능한 생성 표현의 가능성: 기존 시각적 표현을 그대로 유지하면서 별도의 학습 가능한 생성 표현을 도입하는 것이 AR 생성 모델의 품질을 향상시킬 수 있는 새로운 방향임을 제시합니다.

•

추가적인 탐색 필요성: 프롤로그 토큰의 잠재력을 완전히 활용하고 다양한 AR 모델 및 데이터셋에 대한 일반화 가능성을 더 깊이 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage