OmniGen2: Towards Instruction-Aligned Multimodal Generation

Wed, 22 Apr 2026 08:01:38 GMT

### 저자

Chenyuan Wu, Pengfei Zheng, Ruiran Yan, Shitao Xiao, Xin Luo, Yueze Wang, Wanli Li, Xiyan Jiang, Yexin Liu, Junjie Zhou, Ze Liu, Ziyi Xia, Chaofan Li, Haoge Deng, Jiahao Wang, Kun Luo, Bo Zhang, Defu Lian, Xinlong Wang, Zhongyuan Wang, Tiejun Huang, Zheng Liu

### 💡 개요

OmniGen2는 텍스트-이미지 생성, 이미지 편집, 인컨텍스트 생성 등 다양한 생성 작업을 unified solution으로 처리하는 다목적 오픈소스 생성 모델입니다. 기존 모델과 달리 텍스트와 이미지에 대해 각각 독립적인 디코딩 경로와 분리된 이미지 토크나이저를 사용하여 기존 멀티모달 이해 모델을 활용하면서도 텍스트 생성 능력을 유지합니다.

### 🔑 시사점 및 한계

- OmniGen2는 단일 모델로 텍스트-이미지 생성, 이미지 편집, 인컨텍스트 생성 등 다양한 멀티모달 생성 작업을 효과적으로 수행할 수 있습니다.

- 이미지 생성 작업을 위한 자체적인 반사 메커니즘과 전용 데이터셋을 개발하여 성능을 향상시켰습니다.

- 새로운 인컨텍스트 생성(주제 중심 작업) 벤치마크인 OmniContext를 제시하고, 오픈소스 모델 중 일관성 측면에서 최첨단 성능을 달성했습니다.

- 모델, 훈련 코드, 데이터셋, 데이터 구축 파이프라인을 공개하여 해당 분야의 미래 연구를 지원합니다.

- 비교적 작은 파라미터 크기에도 불구하고 여러 벤치마크에서 경쟁력 있는 결과를 보여주었습니다.

- 향후 연구를 통해 모델의 확장성과 다양한 조건에 대한 일반화 성능을 더욱 개선할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2506.18871)