Lumina-OmniLV: A Unified Multimodal Framework for General Low-Level Vision
Created by
Haebom
저자
Yuandong Pu, Le Zhuo, Kaiwen Zhu, Liangbin Xie, Wenlong Zhang, Xiangyu Chen, Pneg Gao, Yu Qiao, Chao Dong, Yihao Liu
개요
Lunima-OmniLV (OmniLV)는 이미지 복원, 이미지 향상, 약한 의미적 밀집 예측, 스타일화 등 4가지 주요 범주에 걸쳐 100개 이상의 하위 작업을 처리하는 범용 다중 모드 다중 작업 저수준 비전 프레임워크입니다. 텍스트 및 시각적 프롬프트를 활용하여 유연하고 사용자 친화적인 상호 작용을 제공하며, Diffusion Transformer(DiT) 기반 생성 사전에 기반하여 임의 해상도를 지원하며, 1K 해상도에서 최적의 성능을 달성하면서 미세한 세부 정보와 높은 충실도를 유지합니다. 텍스트와 시각적 지침을 개별적으로 인코딩하고, 얕은 특징 제어를 사용한 공동 훈련을 결합하는 것이 작업 모호성을 완화하고 다중 작업 일반화를 향상시키는 데 필수적임을 보여줍니다. 또한 고수준 생성 작업을 저수준 비전 모델에 통합하면 세부 정보에 민감한 복원이 손상될 수 있음을 밝혔습니다. 이러한 통찰력은 보다 강력하고 일반화 가능한 저수준 비전 시스템을 위한 길을 열어줍니다.
시사점, 한계점
•
시사점:
◦
100개 이상의 저수준 비전 하위 작업을 처리하는 범용 다중 모드 다중 작업 프레임워크 제시.
