Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Prompt-SID: Learning Structural Representation Prompt via Latent Diffusion for Single-Image Denoising

Created by
  • Haebom
Category
Empty

저자

Huaqiu Li, Wang Zhang, Xiaowan Hu, Tao Jiang, Zikang Chen, Haoqian Wang

개요

본 논문은 기존의 이미지 잡음 제거 모델들이 페어 데이터셋을 사용하는 지도 학습 방식에 의존하여 비용과 시간이 많이 소요되는 문제점을 해결하기 위해, 구조적 세부 정보를 보존하는 프롬프트 학습 기반 단일 이미지 잡음 제거 프레임워크인 Prompt-SID를 제안합니다. Prompt-SID는 저해상도 이미지 쌍을 이용한 자기 지도 학습 방식으로, 구조적 인코딩을 통해 원본 이미지 정보를 포착하고 이를 프롬프트로 잡음 제거기에 통합합니다. 잠재 확산 과정을 기반으로 하는 구조적 표현 생성 모델과 트랜스포머 기반 잡음 제거기 구조 내의 구조적 어텐션 모듈을 설계하여 프롬프트를 디코딩합니다. 또한, 스케일 재생 훈련 메커니즘을 도입하여 서로 다른 해상도의 이미지 간 스케일 차이를 효과적으로 완화합니다. 합성, 실제 및 형광 이미징 데이터셋에 대한 실험을 통해 Prompt-SID의 효과를 입증하고, 코드를 공개합니다.

시사점, 한계점

시사점:
기존의 페어 데이터셋 기반 지도 학습 방식의 한계를 극복하는 자기 지도 학습 기반 단일 이미지 잡음 제거 프레임워크 제시.
구조적 인코딩 및 프롬프트 학습을 통해 구조적 세부 정보 보존 향상.
스케일 재생 훈련 메커니즘을 통한 다양한 해상도 이미지 처리 성능 향상.
합성, 실제, 형광 이미징 데이터셋에서 우수한 성능 검증.
오픈소스 코드 공개를 통한 접근성 향상.
한계점:
본 논문에서 제시된 방법의 일반화 성능에 대한 추가적인 연구 필요.
다양한 잡음 유형에 대한 로버스트니스 평가 추가 필요.
계산 비용 및 메모리 사용량에 대한 추가적인 분석 필요.
👍