Pisces: An Auto-regressive Foundation Model for Image Understanding and Generation
Created by
Haebom
저자
Zhiyang Xu, Jiuhai Chen, Zhaojiang Lin, Xichen Pan, Lifu Huang, Tianyi Zhou, Madian Khabsa, Qifan Wang, Di Jin, Michihiro Yasunaga, Lili Yu, Xi Victoria Lin, Shaoliang Nie
개요
본 논문은 이미지 이해와 생성을 통합된 프레임워크 내에서 처리하는 다중 모드 기반 모델인 Pisces를 제시합니다. 기존 통합 모델들이 각 작업에 특화된 모델에 비해 성능이 떨어지는 문제를 해결하기 위해, 이미지 이해와 생성에 필요한 시각적 특징의 차이점과 각 모달리티에 필요한 별개의 학습 과정을 고려하여 새로운 분리된 시각적 인코딩 아키텍처와 맞춤형 학습 기법을 제시합니다. 꼼꼼한 데이터 큐레이션, 사전 학습 및 미세 조정을 통해 이미지 이해와 생성 모두에서 경쟁력 있는 성능을 달성합니다. 20개 이상의 공개 벤치마크에서 이미지 이해에 대한 강력한 성능을 보여주며, GenEval 벤치마크에서도 견고한 생성 능력을 입증합니다. 이를 통해 이미지 이해와 생성 간의 상승 작용과 별도의 시각적 인코더 사용의 이점을 보여주며, 통합 다중 모드 모델 분야를 발전시킵니다.
시사점, 한계점
•
시사점:
◦
이미지 이해와 생성 모두에서 경쟁력 있는 성능을 보이는 통합 다중 모드 모델 Pisces를 제시.
