Continuous Expert Assembly: Instance-Conditioned Low-Rank Residuals for All-in-One Image Restoration

작성자

Haebom

카테고리

Empty

저자

Haisen He, Xiangyu Zou, SongLin Dong, Heng Li, Yihong Gong, Zhiheng Ma

💡 개요

본 논문은 알 수 없고 공간적으로 불균일하며 복합적인 실제 영상 열화를 효과적으로 처리하는 단일 복원 모델 개발을 목표로 합니다. 이를 위해 기존의 전역적 조건 부여나 고정된 전문가 풀 활용 방식의 한계를 극복하고자, 각 공간 토큰이 독립적인 저랭크 잔차(residual) 업데이트를 조립하는 동적 파라미터화 프레임워크인 Continuous Expert Assembly (CEA)를 제안합니다. CEA는 영상의 국소적인 열화 패턴에 맞춘 미세 조정을 통해 복원 품질을 향상시키고, 특히 공간적으로 변화하거나 복합적인 열화에 대해 우수한 성능을 보입니다.

🔑 시사점 및 한계

•

동적이고 국소적인 파라미터화: 기존의 전역적인 조건 부여 방식과 달리, CEA는 영상의 각 공간 토큰별로 독립적인 저랭크 잔차 업데이트를 동적으로 생성하여 국소적인 열화 패턴에 더욱 효과적으로 대응합니다.

•

안정적이고 투명한 어셈블리: 외부 프롬프트나 고정된 전문가 풀에 의존하지 않고, 각 토큰이 저랭크 성분과의 유사도를 통해 자신의 잔차를 직접 조립하는 방식은 안정적이며, 선형 어텐션 관점을 통해 투명한 동작 방식을 제공합니다.

•

실험 결과의 효율성: 제안된 CEA는 다양한 복합 열화 데이터셋에서 기존의 강력한 베이스라인 모델들을 능가하는 복원 성능을 보여주었으며, 동시에 파라미터 수, FLOPs, 실행 시간 측면에서도 효율성을 유지했습니다.

PDF 보기

Made with Slashpage