# SPDGAN: A Generative Adversarial Network based on SPD Manifold Learning for Automatic Image Colorization

### 저자

Youssef Mourchid, Marc Donias, Yannick Berthoumieu, Mohamed Najim

### 개요

본 논문은 흑백 이미지를 자동으로 색상화하는 문제를 다룹니다. 최근 딥러닝 기법은 흑백 이미지를 자동으로 색상화할 수 있지만, 서로 다른 색상 스타일을 포함하는 다양한 장면에서는 색상 특징을 정확하게 포착하기 어렵습니다. 본 연구에서는 생성적 적대 신경망(SPDGAN)을 이용한 대칭 양의 정부호(SPD) 다양체 학습 기반의 완전 자동 색상화 기법을 제안합니다.  SPDGAN 모델은 두 개의 판별기와 하나의 생성기를 이용한 적대적 게임을 구축합니다. 생성기는 잔차 연결을 통해 계층 간 색상 정보 손실 없이 가짜 색상화 이미지를 생성하는 것을 목표로 하며,  몇 가지 수정을 가한 ResNet 구조를 기반으로 합니다.  두 개의 판별기는 서로 다른 영역에서 작동합니다. 하나는 이미지 픽셀 영역에, 다른 하나는 색상 불일치를 방지하는 데 도움이 되는 리만 다양체 영역에 집중합니다. Places365 및 COCO-stuff 데이터베이스에서 광범위한 실험을 통해 SPDGAN의 각 구성 요소의 효과를 검증하고, 최첨단 방법과의 정량적 및 정성적 비교를 통해 시각적으로 인공물이 적고 사실적인 색상화 이미지를 생성하며 PSNR, SSIM 및 FID 값에서 우수한 결과를 달성함으로써 모델의 효과를 입증합니다.

### 시사점, 한계점

- **시사점:**

    - SPD 다양체 학습을 활용한 새로운 생성적 적대 신경망(SPDGAN) 기반의 흑백 이미지 자동 색상화 기법 제시

    - 두 개의 판별기를 사용하여 색상 정합도 향상 및 인공물 감소

    - PSNR, SSIM, FID 지표에서 기존 최첨단 기법보다 우수한 성능 달성

    - 시각적으로 더욱 사실적이고 인공물이 적은 색상화 이미지 생성

- **한계점:**

    - 제안된 모델의 일반화 성능에 대한 추가적인 연구 필요

    - 특정 유형의 이미지나 색상 스타일에서의 성능 저하 가능성 존재

    - 계산 비용 및 처리 시간에 대한 분석 부족

    - 다양한 데이터셋에 대한 추가적인 실험 필요

[PDF 보기](https://arxiv.org/pdf/2312.13506)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).