Lumina-OmniLV: A Unified Multimodal Framework for General Low-Level Vision
Created by
Haebom
저자
Yuandong Pu, Le Zhuo, Kaiwen Zhu, Liangbin Xie, Wenlong Zhang, Xiangyu Chen, Peng Gao, Yu Qiao, Chao Dong, Yihao Liu
개요
Lunima-OmniLV (OmniLV)는 이미지 복원, 이미지 향상, 약한 의미밀도 예측, 스타일 변환 등 4가지 주요 범주에 걸쳐 100개 이상의 하위 작업을 처리하는 범용 다중 모드 다중 작업 저수준 비전 프레임워크입니다. 텍스트 및 시각적 프롬프트를 활용하여 유연하고 사용자 친화적인 상호 작용을 제공하며, Diffusion Transformer(DiT) 기반 생성 사전을 기반으로 구축되어 임의의 해상도를 지원하며(1K 해상도에서 최적 성능 달성), 세밀한 디테일과 높은 충실도를 유지합니다. 텍스트와 시각적 지시사항을 별도로 인코딩하고, 얕은 특징 제어를 사용한 공동 학습을 결합하는 것이 작업 모호성을 완화하고 다중 작업 일반화를 향상시키는 데 필수적임을 실험을 통해 보여줍니다. 또한, 고수준 생성 작업을 저수준 비전 모델에 통합하면 세부 정보에 민감한 복원이 손상될 수 있음을 밝혀냈습니다. 이러한 통찰력은 더욱 강력하고 일반화 가능한 저수준 비전 시스템을 위한 길을 열어줍니다.
시사점, 한계점
•
시사점:
◦
100개 이상의 저수준 비전 하위 작업을 처리하는 범용 다중 모드 다중 작업 프레임워크 제시.
◦
텍스트 및 시각적 프롬프트를 이용한 유연하고 사용자 친화적인 상호 작용 지원.
◦
텍스트 및 시각적 지시사항의 별도 인코딩과 얕은 특징 제어를 통한 공동 학습의 중요성 제시.
