LLM-HDR: Bridging LLM-based Perception and Self-Supervision for Unpaired LDR-to-HDR Image Reconstruction
Created by
Haebom
저자
Hrishav Bakul Barua, Kalin Stefanov, Lemuel Lai En Che, Abhinav Dhall, KokSheik Wong, Ganesh Krishnasamy
개요
본 논문은 저조도 동적 범위(LDR) 이미지를 고조도 동적 범위(HDR) 이미지로 변환하는 방법을 제시합니다. 기존의 비학습 기반 방법과 최근의 데이터 기반 방법 모두 단일 노출 및 다중 노출 LDR 이미지를 HDR 이미지 재구성에 활용하는 데 중점을 두고 있지만, 대부분 최첨단 방법은 고품질의 LDR-HDR 쌍 데이터셋을 필요로 합니다. 이 논문에서는 쌍을 이루지 않은 LDR-HDR 데이터셋을 사용하는 LLM-HDR 방법을 제안합니다. LLM-HDR은 대규모 언어 모델(LLM)의 지각 능력을 수정된 의미 및 순환 일관성을 갖춘 적대적 네트워크 구조에 통합하여, 아티팩트 및 노출을 고려한 생성기를 도입하여 시각적 아티팩트 제거 및 의미적 일관성을 해결합니다. LLM-HDR은 자기 지도 학습 설정에서 LDR-HDR 변환 작업에 LLM을 사용한 최초의 방법이며, 여러 벤치마크 데이터셋에서 최첨단 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
쌍을 이루지 않은 LDR-HDR 데이터셋을 사용하여 HDR 이미지 변환 문제를 해결하는 새로운 접근 방식을 제시합니다.
◦
LLM을 활용하여 이미지 변환의 의미적 일관성을 향상시켰습니다.
◦
아티팩트 및 노출을 고려한 생성기를 통해 고품질 HDR 이미지를 재구성합니다.
◦
여러 벤치마크 데이터셋에서 최첨단 성능을 달성했습니다.
•
한계점:
◦
LLM의 활용으로 인한 계산 비용 증가 가능성.
◦
사용된 LLM의 특성에 따라 성능이 영향을 받을 수 있음.
◦
다양한 조명 조건이나 이미지 유형에 대한 일반화 성능에 대한 추가적인 연구가 필요할 수 있음.
